【测AI】第06篇：数据清洗实战 —— Pandas 处理爬取的 JD 数据

写在前面

前两篇我们把 AI 测试岗位的 JD 数据爬下来了。但爬到的数据只是"原材料"------格式不统一、有脏数据、有缺失值、没法直接做统计分析。

比如薪资字段，爬下来是 25-40K 这种字符串。你想知道"AI 测试的平均薪资是多少"，得先把字符串解析成数字。你想知道"哪些技能最热门"，得先把 ["Python", "机器学习"] 这种列表展开成一行一条记录。你想知道"北京和上海的薪资差异"，得先按城市分组再算。

这些工作叫数据清洗和数据处理，用 Python 原生代码写会很痛苦。Pandas 是 Python 数据分析的王牌库，专门干这件事。熟练使用 Pandas 是 AI 测试工程师的核心能力之一------因为你经常需要分析测试数据、对比模型效果、生成质量报告。

本篇目标：

掌握 Pandas 核心概念（DataFrame、Series）
学会用 Pandas 读取和清洗爬取的岗位数据
完成完整的数据分析流水线
产出一份"AI 测试岗位技能需求分析报告"

本篇文件结构

本篇代码会用到以下文件，建议继续放在 ai-test-crawler/ 目录下：

文件名	用途	创建方式
`pandas_demo.py`	Pandas 基础知识练习	二、逐步追加
`data_analysis.py`	岗位数据分析主程序	四、逐步追加
`job_data.json`	数据来源（第04篇生成的）	不需要手动创建
`job_data.csv`	数据来源（第04篇生成的）	不需要手动创建
`analysis_report.txt`	分析报告输出（自动生成）	不需要手动创建

前置条件 ：本篇需要第 04 篇生成的 job_data.json 和 job_data.csv 文件。如果还没有，回到第 04 篇运行 python create_mock_site.py 和 python job_scraper.py 先生成数据。

一、为什么需要 Pandas？

1.1 用原生 Python 做数据分析有多痛苦

假设你要回答这个问题："AI 测试岗位中，最常见的技能是什么？"

用原生 Python 写，你需要手动遍历列表、展开嵌套、统计频次、排序取 Top N......第 04 篇我们已经写过类似的代码了，几十行才搞定一个简单的统计。

再换一个问题："北京的平均薪资和上海比，高多少？"

这下麻烦了------你要筛选城市、解析薪资字符串、按城市分组、计算平均值、对比差异。用原生 Python 写，至少上百行代码，而且容易出 bug。

而用 Pandas，这些问题都是三到五行代码的事。

1.2 Pandas 的两大核心数据结构

Pandas 提供了两种数据结构来存放和操作数据：

Series ------ 一列数据，类似 Excel 中的一列。

python 复制代码

import pandas as pd

# Series 就是一列数据 + 一行索引
salaries = pd.Series([25000, 35000, 30000, 20000, 45000])
print(salaries)
# 0    25000
# 1    35000
# 2    30000
# 3    20000
# 4    45000
# dtype: int64

# 一行代码算平均值
print(salaries.mean())    # 31000.0

DataFrame ------ 一张表格，类似 Excel 中的一个工作表。有行有列，每列是一个 Series。

python 复制代码

# DataFrame 就是一张表格
df = pd.DataFrame({
    "title": ["AI测试工程师", "大模型测试专家", "CV测试工程师"],
    "salary": [25000, 45000, 22000],
    "location": ["北京", "北京", "成都"]
})
print(df)
#           title  salary location
# 0   AI测试工程师   25000       北京
# 1  大模型测试专家   45000       北京
# 2   CV测试工程师   22000       成都

# 一行代码筛选北京的岗位
print(df[df["location"] == "北京"])

# 一行代码算平均薪资
print(df["salary"].mean())    # 30666.67

理解了这两个概念，你就理解了 Pandas 的 80%。后面所有的操作都是围绕 DataFrame 来做的：读数据进来是 DataFrame，清洗也是对 DataFrame 操作，分析也是从 DataFrame 里提取信息。

1.3 安装 Pandas

【运行】 在终端执行：

bash 复制代码

pip install pandas

返回上一级目录，用这个命令：

bash 复制代码

cd ..

可使用镜像 在终端执行：

bash 复制代码

pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

二、Pandas 基础操作速通

从这里到第三节结束，是 Pandas 知识点的讲解。建议新建一个 pandas_demo.py 文件，每段代码都可以独立运行，跟着敲一遍就能理解。第四节开始才是完整的数据分析项目。

2.1 创建和查看 DataFrame

【新建文件】 在项目目录下新建 pandas_demo.py，写入以下代码：

python 复制代码

"""
Pandas 基础知识练习
每段代码可以独立运行
"""

import pandas as pd

# ========== 创建 DataFrame ==========

# 用字典创建（最常用）
data = {
    "职位名称": ["AI测试工程师", "高级AI测试开发", "大模型测试工程师", "CV测试工程师", "NLP测试工程师"],
    "薪资下限": [25000, 35000, 30000, 22000, 25000],
    "薪资上限": [40000, 60000, 50000, 38000, 45000],
    "城市": ["北京", "上海", "杭州", "成都", "广州"],
    "经验": ["3-5年", "5-10年", "3-5年", "1-3年", "3-5年"]
}

df = pd.DataFrame(data)

# 查看前几行（默认前5行）
print("--- 前 5 行数据 ---")
print(df.head())

# 查看后几行
print("\n--- 后 3 行数据 ---")
print(df.tail(3))

# 查看基本信息：行数、列数、每列数据类型、缺失值数量
print("\n--- 基本信息 ---")
print(df.info())

# 查看统计摘要（数值列的均值、标准差、最小值、最大值等）
print("\n--- 统计摘要 ---")
print(df.describe())

【运行】 在终端执行 python pandas_demo.py，看看输出。df.info() 会告诉你每列的数据类型和有没有缺失值，df.describe() 会给你数值列的统计概况------这两个是你拿到新数据后最先要看的。