近来有一些小伙伴咨询数据分析相关的一些知识内容 我收集了一些相关信息 在这里简单做一些分享和介绍,后续有相关的内容我也会持续的更新!感谢大家的支持与陪伴!
拆解问题一个原则四类方法
数据分析工程技术
数据分析四种类型 六个方向 + 分析师层级
万能问题确认公式
数据分析认知知识点
-
数据自身三大属性
- 客观
- 量化
- 机器可处理
-
数据建设的七个层级
- 凭感觉
- 看数字
- 用表格
- 搭系统
- 建数仓
- 中心化
- 智能化
-
数据分析实际价值
- 个人价值
- 效率提升
-
公司价值
- 映射现状,及时反馈
- 统一认知,加强协作
- 算法基础,自动生产
- 时代价值
- 数据是一切科学研究的基础
- 个人价值
-
数据分析的实现原理
-
数据分析解决问题的原理
- 业务中的数据分析是为了更好的解决现实问题
- 传统:问题发生------结合现实------逻辑推理------得出结论
- 数据:问题发生------结合现实------数据映射------量化分析------得出结论
-
数据分析实现的具体流程
-
定义问题
- 明确范围
- 拆解问题
-
准备数据
- 获取数据
- 清洗数据
- 处理数据
- 验证数据
-
分析数据
-
分析的目的
-
业务分析:关注数据与业务的关联性、映射关系和可解释性
- 常规计算
- 数据可视化
- 归纳/演绎
-
建模分析:关注数据的整体特征(特征决定上限,模型调参无限趋近于上限)
- 机器学习建模
- 深度学习挖掘
-
-
分析的种类
-
计算型分析
- 统计学
- 机器学习
-
逻辑型分析
- 归纳/演绎
- 思维模型
-
-
-
得出结论
- 假设性结论
- 初步传递结论
- 得到新的反馈
- 验证/推翻结论
-
应用数据
- 策略+实施:业务解决问题
- 监控+预警:自动发现问题
- 算法+部署:自动解决问题
-
-
数据分析实现所需的技术
-
埋点采集
- (1)传感器
- (2)系统日志采集方法
- (3)Web爬虫
-
传输存储
- 传输
- 借助网络
-
存储
- 借助数据库技术
- 研究如何组织和存储数据。如何高效的获取和处理数据
-
存储是一门大学问
- 速度
- 准确性
- 最大规模
- 数据种类
- 传输
-
提取回流
-
提取
- 查询
- 导出
- 回流
- 数据被操作过后,怎么回到数据库,继续参与生产和建模
-
-
清洗处理
- 清晰
- 符合数据标准
- 处理
- 符合实际需求
- 清晰
-
连接导入
- 怎么对接到不同的工具和软件,涉及到各种中间键和协议
-
分析建模
-
分析
- 计算
- 图表
-
建模
- 机器学习
- 深度学习
-
-
部署应用
- BI监控
- 算法平台
- 先知
- 工程开发
-
- 数据分析的职业发展
-
三个层级(四种类型六个方向分析师层级图)
- 接需求 = 工具人
- 即插即用,把工具练到极致
-
背指标 = 对业务负责的分析师
- 不对业务结果负责的分析本质上没有任何意义
- 想要做好分析师就要深入业务场景,对业务负责
-
做研究 = 数据科学家
- 研究准确率更高的算法框架
- 提供效率更好性能更好的数据技术
- 接需求 = 工具人
-
-