1、代码解释器(Code Interpreter)数据分析
代码解释器是AI处理数据任务的核心工具,它允许AI直接编写并执行代码,对用户上传的数据文件进行真实计算。
标准数据分析工作流:
用户提供:包含12个月销售数据的Excel文件(50列,10000行)
任务Prompt:
"请分析这份销售数据,完成以下任务:
- 计算各大区(华北/华东/华南/西部)的年度总销售额和增长率
- 找出销售额Top 5的产品SKU及其占总销售额的比例
- 绘制月度趋势折线图(各大区分色)
- 生成一份包含上述结论的200字数据摘要
请使用Python Pandas执行计算步骤1-2,使用Matplotlib绘制图表。"
代码解释器相比纯自然语言分析的核心优势:消除幻觉------AI尝试"心算"大型数据集时,不可避免地会产生不准确数字(这是幻觉的主要来源之一);代码解释器直接执行计算,结果来源于真实运算,数学上完全可靠。
常用的Python数据分析工具(AI会选择调用):
-
pandas:数据清洗、分组聚合、透视表、时间序列 -
matplotlib/seaborn:数据可视化 -
openpyxl/xlrd:直接读写Excel文件
2、AI辅助文档逻辑分析
AI不仅能处理数值数据,还能处理非结构化文本中的"数据":
合同/协议审查:向AI提供完整合同文本后,Prompt指令:
请审查这份合同,重点检查:
① 是否存在对甲方不利的条款(尤其是违约责任、赔偿上限、单方面修改权)
② 是否有表述模糊或可能产生争议的条款
③ 是否遗漏了通常合同中必须包含的保护条款
请以"条款编号 → 风险等级(高/中/低) → 风险说明 → 建议修改方向"的格式输出
报告/论文逻辑校验:
请检查这篇论文的论证逻辑,重点检查:
① 各章节的中心论点是否前后一致
② 支撑论据是否充分(是否存在"仅靠断言无据"的情况)
③ 结论是否与前文的分析和数据相符
3、RPA与动态网页数据采集
RPA(Robotic Process Automation,机器人流程自动化) 是通过软件机器人模拟人工操作计算机界面(点击、输入、截取)来执行重复性业务流程的技术,常用于数据采集、报表填报、系统对接等场景。
动态网页采集的关键认知:现代网页大量使用JavaScript前端框架(React/Vue/Angular),页面内容不在HTML源代码中,而是在浏览器执行JavaScript后动态渲染出来的。这意味着:
-
❌ 直接抓取HTML源代码:拿到的是JavaScript代码而非实际数据,数据为空
-
✅ 使用RPA工具或无头浏览器(Headless Browser,如Playwright/Puppeteer):让浏览器真实渲染页面,等待JavaScript执行完毕,数据呈现在界面元素后再抓取
工程判断原则:遇到"网页抓不到数据"的场景,首先判断是否为动态渲染页面------而不是调整爬虫速度或更换IP。
4、Excel数据清洗:格式与类型的区别
这是Excel工作中容易被忽视却严重影响AI数据分析质量的认知盲点:
区别示例:
| 操作 | 本质 | 对计算的影响 |
|---|---|---|
| 修改单元格显示格式(如"短日期格式") | 只改变视觉呈现,底层数据不变 | 无效:透视表、分组、统计仍按原始类型处理 |
| 将文本转换为日期/数字类型 | 改变底层数据类型 | 有效:透视表、SUMIF、分组才能正确执行 |
为什么重要 :一列混乱日期(如"2025/1/5"、"Jan 5, 2025"、"20250105"等不同格式混杂)在显示上改成统一的"短日期格式"后,视觉整齐,但底层依然是字符串。此时进行透视分析或按月分组,结果要么报错要么完全错误。正确做法是要求AI生成数据类型转换代码(如Python的pd.to_datetime()),而不仅仅是用Excel格式刷。
5、异常值识别与VLOOKUP常见误区
异常值识别的统计方法:传感器数据中出现-999、9999这类极端值时,最严谨的处理方式是用统计学规则识别离群值:
-
IQR方法(四分位距法) :计算Q1(25%分位数)和Q3(75%分位数),将低于
Q1-1.5×IQR或高于Q3+1.5×IQR的值标记为异常 -
3σ原则:将距均值超过3倍标准差的值标记为异常
不应凭直觉"手工删掉感觉异常的值"------主观判断会引入人为偏差,且当数据量大时无法规模化执行。应让AI生成统计异常值检测代码,再对识别出的异常记录进行业务判断(是传感器故障还是真实极值)。
VLOOKUP近似匹配的常见误区 :在Excel中,VLOOKUP的第四参数设为TRUE(近似匹配)并不等于文本模糊匹配。其工作原理是:
-
TRUE近似匹配:要求查找列已升序排序,在排序后的区间内按"不超过查找值"的最大值匹配------本质是按数值区间查找 -
它无法解决"Apple Inc."与"apple"、"苹果公司"的文本相似匹配问题
面对企业名称、产品SKU的模糊匹配,正确方案是:先做规范化清洗(统一大小写、去除特殊字符),再使用文本相似度算法(如编辑距离)或Embedding语义相似度匹配。