一、实验目的
本实验基于全班同学在多平台发布的作品互动数据，使用助睿ETL完成数据清洗与预处理，输出全平台概况表和重点平台内容分析表，为后续特征工程与可视化分析奠定基础。
• 理解数据清洗在数据分析流程中的基础性作用，能够识别平台冗余、无效记录和字段缺失等常见问题。
• 掌握助睿ETL中文件输入、SQL建表、排序记录、分组聚合、过滤记录、空值填充、字段选择和表输出等组件的使用方法。
• 理解分支处理思路：一条分支保留全平台概况，另一条分支筛选B站和CSDN的有效明细数据。
• 形成规范的数据表，为后续标题特征构建、BI图表制作和运营分析报告提供数据基础。
二、实验环境与数据
|--------|-------------------------------------------------------------|
| 项目 | 内容 |
| 实验平台 | 助睿在线实验平台（https://lab.guilian.cn/） |
| 数据平台 | 助睿数智（Uniplore） |
| 实验工具 | 助睿ETL（数据集成平台） |
| 数据来源 | 自媒体作品数据明细.csv；输出表为 summary_all_platforms 和 content_analysis |
三、数据处理逻辑设计
原始数据同时包含B站、CSDN、微信、知乎、小红书等平台。全平台概况需要保留所有平台记录，用来统计作品数量、平台覆盖和总体互动；重点平台深度分析则需要筛选出B站和CSDN中浏览量大于0的有效记录，避免无效数据干扰后续分析。
|----------|-----------------------|----------------------------|---------------|
| 处理分支 | 目标表 | 处理重点 | 用途 |
| 全平台概况 | summary_all_platforms | 按采集日期和平台聚合，保留所有平台数据 | 支撑仪表盘顶部概况指标 |
| 重点平台明细 | content_analysis | 筛选B站/CSDN有效记录，填补缺失值并保留分析字段 | 作为特征工程和深度分析输入 |
图1 数据清洗与预处理分支流程
四、实验步骤
4.1 创建目标表并导入数据
-
从公共空间复制并导入"自媒体作品数据明细.csv"，将其作为本次转换流的数据源。
-
创建自媒体分析目标表，包括全平台概况表 summary_all_platforms 和内容分析表 content_analysis。
-
使用SQL脚本完成目标表结构创建，确保字段类型能覆盖平台、标题、作者、浏览量和各类互动指标。
-
新建"自媒体作品清洗与预处理"转换流，配置CSV文件输入组件，读取原始明细数据。
图2 导入数据集到文件库目录下
图3 创建自媒体分析目标表
图4 执行SQL脚本并连接数据库
图5 配置CSV文件输入组件
图6 原始数据导入说明与数据源准备
4.2 完成全平台聚合分支
-
连接"读取自媒体作品明细"组件与"排序记录"组件，按日期和平台整理输入记录。
-
添加分组聚合组件，按日期、平台汇总作品数量、浏览量、点赞量、收藏量、分享量等指标。
-
配置表输出组件，将聚合结果写入 summary_all_platforms，并完成数据库字段映射。
图6 排序记录组件配置
图7 分组聚合步骤配置
图8 表输出基本配置
图9 表输出数据库字段配置
4.3 完成重点平台明细分支
-
配置过滤记录组件，只保留平台为B站或CSDN且浏览数量大于0的记录。
-
对作者名称、作品标题等可能缺失的字段进行空值填充，避免后续处理出现异常。
-
通过字段选择组件剔除 source_file 等分析阶段不需要的字段，保留日期、作者、标题、平台、点赞、收藏、分享、投币、浏览量和链接等字段。
-
将清洗后的重点平台数据输出到 content_analysis 表。
图10 过滤记录配置
图11 空值填充配置
图12 字段选择配置
图13 content_analysis 表输出配置
图14 重点平台有效记录过滤条件
图15 作者名称和作品标题空值填充
4.4 执行转换流并检查结果
-
检查全平台概况分支和重点平台明细分支的连接关系，确认每个输出节点都连接到正确目标表。
-
运行完整转换流，观察执行状态是否正常完成。
-
使用数据探查功能查看 summary_all_platforms 和 content_analysis 的输出结果，确认聚合字段、过滤结果和明细字段均符合预期。
图16 整体组件连接图
图17 转换流执行界面
图18 summary_all_platforms 数据探查预览
图19 输出数据探查
五、实验结果
本实验完成了自媒体作品原始数据的清洗与预处理，成功生成 summary_all_platforms 和 content_analysis 两张数据表。前者保留全平台概况，适合制作总体指标卡；后者聚焦B站和CSDN有效作品，为后续互动总数、标题关键词特征和可视化图表分析提供了可靠输入。
六、实验心得与收获
通过本次实验，我认识到清洗阶段并不是简单删除数据，而是要根据后续分析目标决定保留什么、过滤什么。全平台概况和重点平台明细的分支设计，使同一份原始数据能够服务于不同层次的分析任务；过滤、填充、字段选择和聚合等组件的组合，也让我更清楚地理解了ETL流程中数据流向和字段规范的重要性。