数据科学与大数据(学习记录)

这个专业或者方向,这个行业有一句话叫做工具决定下限,分析决定上限。通过数据解决问题的思路是最重要的,对于这类型人才.数据具有四大特性,一个是可以反复使用,一个是客观,量化,机器可处理.常见的分析流程,首先是数据的真实性,第2个是量化的问题,结合场景拆分导致问题的原因,第3个流程根据原因从数据库当中弄到可用的数据。第4个,用sql把数据提取出来,第5个用Excel或者Tablean等工具进行处理和可视化,可能会使用一些算法模型做辅助,最后一个从各种因素中总结原因输出有效结论.刚刚说了,数据的四大特性当中有一个叫做量化,而数据分析就是基于量化提升生产力.近些年随着数据的爆发,越来越多的公司,开始招收数据方向的人才。而在这个过程当中,由于对数据方向的人才认知不准确,往往叫他们既当开发,又当产品,又当分析师,既要让他们对数据库获取数据进行分析,又要他们理解需求,又甚至要叫他们写代码.从而导致了本身人手不足,时间不够,思路就不会深入数据的质量就难以提升,就会出现一些常见的问题,例如数据的缺失,该有的数据,你没有该思考的方向,没有思考到第2个是口径模糊,你不知道一个数据的指标具体的定义是什么?第3个就是业务不落地,要么就是从已知,要么就是根本就没办法实行.而成熟的数据团队,应该由三部分组成,分别为业务开发和算法,尤其是业务和开发,业务中又包含数据,运营数据,专员,数据分析师,具体如下图

所以说这个方向即可以走开发,也可以走业务,甚至可以走算法

低成本享受高质量的数据服务

相关推荐
大大大大晴天1 天前
Hudi技术内幕:RecordPayload到RecordMerger
大数据
SelectDB2 天前
秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率
大数据·后端·云原生
WhoAmI2 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI2 天前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
WhoAmI2 天前
MapReduce框架原理解析二:Shuffle
大数据·hadoop
大大大大晴天3 天前
Hudi技术内幕:Key Generation原理与实践
大数据
得物技术6 天前
从埋点需求到规则资产:Hermes Agent 重构得物数仓工作流
大数据·llm·ai编程
久美子6 天前
AI驱动数仓建设的Harness工程实践——本体建模、知识分层与上下文工程
大数据
大树887 天前
金刚石散热越强,管路越先见顶
大数据·运维·服务器·人工智能·ai
通信小呆呆7 天前
当算法有了“五感”:多模态数据融合如何向人体感官协同学习?
人工智能·学习·算法·机器学习·机器人