数据分析和数据挖掘的工作内容

基本的数据分析工作通常包含以下几个方面的内容:

  1. 确定目标(输入):理解业务,确定指标口径。
  2. 获取数据:数据仓库(SQL提数)、电子表格、三方接口、网络爬虫、开放数据集等。
  3. 清洗数据:包括对缺失值、重复值、异常值的处理以及相关的预处理(格式化、离散化、二值化等)。
  4. 数据透视:排序、统计、分组聚合、交叉表、透视表等 。
  5. 数据呈现(输出):数据可视化,发布工作成果(数据分析报告)。
  6. 分析洞察(后续):解释数据的变化,提出对应的方案。

深入的数据挖掘工作通常包含以下几个方面的内容:

  1. 确定目标(输入):理解业务,明确挖掘目标。
  2. 数据准备:数据采集、数据描述、数据探索、质量判定等。
  3. 数据加工:提取数据、清洗数据、数据变换、特殊编码、降维、特征选择等。
  4. 数据建模:模型比较、模型选择、算法应用。
  5. 模型评估:交叉检验、参数调优、结果评价。
  6. 模型部署(输出):模型落地、业务改进、运营监控、报告撰写。
相关推荐
web135085886351 小时前
Python大数据可视化:基于python的电影天堂数据可视化_django+hive
python·信息可视化·django
白水先森7 小时前
ArcGIS Pro制作人口三维地图教程
arcgis·信息可视化·数据分析
Sharewinfo_BJ11 小时前
智信BI:解决Power BI全面兼容问题的新选择
数据分析·数据可视化·powerbi
Sodas(填坑中....)13 小时前
SVM对偶问题
人工智能·机器学习·支持向量机·数据挖掘
zhengyawen66614 小时前
深度学习之图像回归(二)
人工智能·数据挖掘·回归
dabidai15 小时前
AI基础:数据可视化简易入门(Matplotlib和Seaborn)
人工智能·信息可视化·matplotlib
亿信华辰软件15 小时前
政策解读:制造企业如何实施数字化转型
大数据·数据分析·制造
鸭鸭鸭进京赶烤15 小时前
数学建模:解锁智能计算的密码!
人工智能·计算机网络·算法·数学建模·信息可视化·机器人·信息与通信
GIS遥感数据处理应用16 小时前
MATLAB | 设置滑动窗口计算栅格数据的CV变异系数
matlab·arcgis·数据分析