2月20日，汇丰发布了一份题为《AI能代替我事情吗？》的实验剖析报告，在报告中，汇丰数据科学与剖析主管Mark McDonald比较了ChatGPT的“高等数据剖析”模块与人类剖析师的表现，得出结论：
这次试验中，AI的表现非常好且仍在不断进步，但还未到能取代数据剖析师的水平，AI的利用更方向于实现特界说务的自动化，而不是完备替代人类的全部职责和事情。数据剖析师在借助AI工具后，生产力的水平已经得到了显著提升。 汇丰称，在实验过程中，他们采取了一个公开的数据集——各州Zillow房屋代价指数，让人类数据科学家和 ChatGPT分别对该数据集进行探索性数据剖析 (EDA)。
汇丰认为，上述任务对付AI工具（如ChatGPT）来说是一个寻衅，缘故原由如下：
指令模糊：哀求不是特殊明确，没有详细指出要剖析数据集的哪些方面，这哀求AI能够自主决定如何进行EDA。 须要进行多步骤剖析：进行EDA剖析，不仅仅是实行一个大略的任务，而是须要通过多个剖析步骤来探索数据集的特性和趋势。 数据格式非范例：数据集的格式并不是常见的标准格式，这增加了处理和剖析数据的繁芜性。 来看实验的结果，汇丰写到，最开始他们仅仅是将数据集加载到ChatGPT的对话框中，并哀求其对数据集进行探索性数据剖析（EDA），这种考试测验常日以ChatGPT仅实行了几项EDA剖析后崩溃而告终。 为了使实验更加顺利，汇丰创造首先要罗列出希望ChatGPT完成的EDA剖析步骤，然后逐步进行。但每个步骤都须要人工参与确认，才能展现AI最佳性能，人类的参与可以更好的合营AI精确高效完成任务。 AI剖析师与人类剖析师工为难刁难比
汇丰在报告中称，他们将Zillow各州房屋代价指数 (ZHVI) 的数据文件上传到ChatGPT，并哀求它将数据加载到pandas DataFrame中。然后，让ChatGPT分步骤对该数据集进行全面探索性数据剖析 (EDA)（完全步骤见附录）。 与此同时，汇丰也让人类剖析师实行了相应的步骤，以此来比较人类和人工智能各清闲数据剖析领域的优缺陷： 首先在数据处理过程中，人类剖析师采纳的方法是进行数据行列转置（dataframe），利用这种方法，原来作为列名的日期变为索引值，原来的RegionName列的值变成了新的列名。这样做的结果是丢失了其他元数据列（如RegionID, SizeRank, RegionType和StateName），这些信息被放到了一个单独的元数据工具中。
AI采纳的方法是在pandas中利用melt函数，来将宽格式的数据框转换为长格式，melt方法的好处是所有元数据都保留在同一个数据框工具中。
在这个例子中，元数据并不是特殊有用，以是两种方法都可行。但在其他元数据更为主要的数据集中，人类剖析师的方法可能须要后续在剖析中实行大量的联接或合并操作，会比较麻烦。
与此同时，AI在写代码的过程中会有大量的注释，这有助于理解代码的目的和功能。比较之下，人类在进行数据剖析的过程中每每不愿意花韶光写注释，由于这会占用较多韶光。
但AI天生的代码中存在较多的注释对付提高代码质量和促进团队间的协作是有益的，虽然人类不喜好写注释，但他们很喜好看别人的代码时能看到这些注释。
汇丰在报告中指出，AI做的最让人印象深刻的事情便是在舆图上直不雅观显示各州房价的增长率，下图仅展示了这一可视化的截图，而实际上这是一个交互式的HTML/Javascript舆图： 这也是AI如何和人类剖析师有效互助的案例，下图所示的案例中，AI利用了一个名为folium的Python包来创建可视化舆图，这是人类剖析师未曾利用过的工具，但通过查看AI天生的代码和完全的事情示例，人类剖析师能够迅速学习如何创建类似的可视化效果。
同时，在AI天生可视化交互图中存在一个问题，即缺失落数据的颜色编码与表示低增长率的颜色编码相同，这会引起稠浊。人类剖析师通过修正AI的代码，很好的办理了这个问题，改进后的可视化图例如下，个顶用蓝色标出了缺失落数据的州，这样使得可视化信息更加清晰易懂。
汇丰称，当AI在进行干系性剖析时犯了一个没有受过专业演习的数据剖析师会犯的错——在非平稳数据上打算干系性的缺点，选择了基于价格水平而不是价格变革的百分最近剖析： 只管AI熟习计量经济学的文献，能够建议对数据运用ARIMA模型，但它仍旧犯了一个在非平稳数据上打算干系性的缺点。这一点也表明了AI与人类在处理知识方面的不同。
人类一旦在计量经济学方面受到良好的演习，常日不会再犯这样的缺点，而AI只管知道干系理论，但在实际运用中仍旧可能犯错。在利用AI进行数据剖析时，仍旧须要人类专家的监督来避免得出错误或危险的结论。
我们再次哀求AI利用价格环比百分比变革而不是价格本身进行剖析。这次剖析的结果可以看到非平稳数据的主要性。
当利用非平稳数据（即价格水平）进行干系性评估时，AI缺点评估德克萨斯州和夏威夷州之间的干系系数（高达94%）。而当剖析方法被改动后，这两个州之间的干系系数降至58%。
汇丰称在末了的房价预测阶段，AI选择并利用ARIMA模型来预测加州房价，但AI在选择模型参数时存疑，它随意选择了一个ARIMA(5，1，0)模型进行拟合，没有供应为何选择这个模型的情由。 而利用AI时还有一个关键问题，随着韶光流逝AI已经忘却了它最初操持的EDA步骤，因此人类不得不提醒AI按操持进行，AI的任务才得以连续完成。 以下为汇丰让ChatGPT完成剖析步骤的拆解： 1. 数据概览：显示数据集的前几行和后几行。检讨每列的数据类型和非空值计数。获取数值列的基本数据择要。
2. 处理缺失落值：识别有缺失落值的列。采取适当的策略来处理这些问题，如删除空值数据或给空值赋值。
3. 韶光剖析：绘制房价总体变革趋势。识别周期性或循环趋势。高亮非常点或非常事宜。
4. 地区剖析：识别均匀房价最高和最低的州。剖析各州的增长率,找到增长最快和低落最快的市场。如果可能,在舆图上可视化数据,创造区域分布图。
5. 分布剖析：绘制直方图或核密度分布估算图，以理解房价的分布情形。利用箱形图识别非常值并比较不同州之间的分布。
6. 干系性剖析：打算不同州之间房价的成对干系性,识别关系。利用热图可视化干系性。
7. 分解：如果数据集显示明显的趋势或周期性，进行韶光序列分解，分离趋势、周期性和残差。
8. 频率剖析：剖析房价大幅上涨或下跌的频率。识别涌现峰值或低谷的特定月份或时令。
9. 统计测试：根据问题或假设，进行适当的统计考验。例如，如果要知道两个州之间的价格差异是否具有统计学显著性意义，可以利用t考验。
10. 特色工程（如果操持建模）：创建滞后特色、移动均值和其他衍生特色，这些特色对预测建模可能有用。
11. 洞察和记录:在探索性数据剖析的过程中，记录所有主要的创造和见地。这对后续决策或结果展示很有用。
12. 可视化：利用各种可视化工具和技能，以直不雅观和深刻的办法表示数据，包括线图、条形图、散点图、热图等。
13. 终极报告：总结关键的剖析结果，供应基于剖析的可操作性建议或推举。
⭐星标华尔街见闻，好内容不错过⭐ \公众 data-from=\"大众0\公众 data-is_biz_ban=\公众0\"大众> 本文不构成个人投资建议，不代表平台不雅观点，市场有风险，投资需谨慎，请独立判断和决策。
