数据分析和数据挖掘的工作内容

基本的数据分析工作通常包含以下几个方面的内容:

  1. 确定目标(输入):理解业务,确定指标口径。
  2. 获取数据:数据仓库(SQL提数)、电子表格、三方接口、网络爬虫、开放数据集等。
  3. 清洗数据:包括对缺失值、重复值、异常值的处理以及相关的预处理(格式化、离散化、二值化等)。
  4. 数据透视:排序、统计、分组聚合、交叉表、透视表等 。
  5. 数据呈现(输出):数据可视化,发布工作成果(数据分析报告)。
  6. 分析洞察(后续):解释数据的变化,提出对应的方案。

深入的数据挖掘工作通常包含以下几个方面的内容:

  1. 确定目标(输入):理解业务,明确挖掘目标。
  2. 数据准备:数据采集、数据描述、数据探索、质量判定等。
  3. 数据加工:提取数据、清洗数据、数据变换、特殊编码、降维、特征选择等。
  4. 数据建模:模型比较、模型选择、算法应用。
  5. 模型评估:交叉检验、参数调优、结果评价。
  6. 模型部署(输出):模型落地、业务改进、运营监控、报告撰写。
相关推荐
躺柒2 小时前
读数据分析思维通识课09读后总结与感想兼导读
数据挖掘·数据分析·总结·数据思维
花漾TK2 小时前
TikTok达人索样管理:审批、跟踪与数据复盘怎么衔接?
数据分析·tiktok shop·达人营销
Highcharts.js1 天前
Workbuddy + Highcharts Orbit:工作区数据自动建模与可视化分析实践
前端·javascript·信息可视化·数据可视化·highcharts·可视化图表·workbuddy
培培说证2 天前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
Aloudata2 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒2 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
屿华AI2 天前
AUTOSAR 实战-诊断工具 | 基于 YAML 的诊断测试用例工程:轮询、断言与回归
数据挖掘·回归·测试用例
databook2 天前
时间序列特征,哪些当时就能算出来
python·数据分析
wang_yb2 天前
时间序列特征,哪些当时就能算出来
数据分析·databook
kaixin_啊啊2 天前
鱼类跨物种 DNA 序列预测:AQUA-FAANG 数据下载与操作指南
数据分析