数据分析和数据挖掘的工作内容

基本的数据分析工作通常包含以下几个方面的内容:

  1. 确定目标(输入):理解业务,确定指标口径。
  2. 获取数据:数据仓库(SQL提数)、电子表格、三方接口、网络爬虫、开放数据集等。
  3. 清洗数据:包括对缺失值、重复值、异常值的处理以及相关的预处理(格式化、离散化、二值化等)。
  4. 数据透视:排序、统计、分组聚合、交叉表、透视表等 。
  5. 数据呈现(输出):数据可视化,发布工作成果(数据分析报告)。
  6. 分析洞察(后续):解释数据的变化,提出对应的方案。

深入的数据挖掘工作通常包含以下几个方面的内容:

  1. 确定目标(输入):理解业务,明确挖掘目标。
  2. 数据准备:数据采集、数据描述、数据探索、质量判定等。
  3. 数据加工:提取数据、清洗数据、数据变换、特殊编码、降维、特征选择等。
  4. 数据建模:模型比较、模型选择、算法应用。
  5. 模型评估:交叉检验、参数调优、结果评价。
  6. 模型部署(输出):模型落地、业务改进、运营监控、报告撰写。
相关推荐
追风少年ii26 分钟前
脚本复习--高精度空转(Xenium、CosMx)的细胞邻域分析(R版本)
python·数据分析·空间·单细胞
YangYang9YangYan34 分钟前
高职单招与统招比较及职业发展指南
大数据·人工智能·数据分析
qiao若huan喜1 小时前
9、webgl 基本概念 + 复合变换 + 平面内容复习
前端·javascript·信息可视化·webgl
德昂信息dataondemand3 小时前
BI需求分析的双层陷阱
数据分析·需求分析
cx330上的猫4 小时前
【数据分析-Excel】常用函数汇总
数据分析·excel
权泽谦9 小时前
R Shiny 交互式网页实战:从零到上线可视化应用
开发语言·信息可视化·r语言
qiaochuanbiao12 小时前
用Echarts实现“庖丁解牛”的效果
信息可视化
周杰伦_Jay13 小时前
【智能体(Agent)技术深度解析】从架构到实现细节,核心是实现“感知环境→处理信息→决策行动→影响环境”的闭环
人工智能·机器学习·微服务·架构·golang·数据挖掘
熠熠仔14 小时前
QGIS 3.34+ 网络分析基础数据自动化生成:从脚本到应用
python·数据分析
追风少年ii18 小时前
单细胞空间联合分析新贵--iStar
python·数据分析·空间·单细胞