图书《数据资产管理核心技术与应用》分享

《数据资产管理核心技术与应用》是由清华大学出版社出版的一本图书,该图书主要特点如下:

1、依托于大数据技术,独家解密数据血缘的底层技术实现

2、详解数据资产管理的知识体系和核心技术

3、应用元数据管理和数据建模技术,充分发挥出数据资产的更大潜力和价值。

4、全书从元数据、数据血缘、数据质量、数据服务、数据监控、数据建模、数据架构等多个维度来剖析大数据资产管理的核心技术与应用。

5、全书配套了PPT课件以及作者微信答疑服务

核心章节介绍如下:全书依托于大数据技术,独家解密数据血缘的底层技术实现

通常来说,数据血缘的来源可以包括数据源自身、数据处理的任务、数据任务的编排系统等。

  • 数据源自身:比如像Hive,由于其本身就是支持通过HQL做数据处理的,所以其本身就可以通过数据处理的过程来分析从而获取血缘。
  • 数据处理的任务:这点很容易理解,因为不管是实时任务还是离线任务,都会涉及到数据逻辑的处理,从数据任务的底层实现技术上来说,不管是Hadoop的Map-Reduce 任务还是Spark任务还是Flink任务,本质也都是在做数据的转换处理,有数据的转换,就可能会有数据血缘的变化。
  • 数据任务的编排系统:这点也很容易理解,如下图3-1-1所示,在任务编排时,可能会将很多不同的任务节点按照依赖顺序串联起来。前一个任务节点的数据输出会是下一个任务节点的数据输入,所以肯定也会产生数据的转换,就肯定也会存在血缘。
  • 重点介绍了数据血缘的底层技术实现,包括:
  1. 如何从Hive中获取数据血缘
  2. 从Spark 执行计划中获取数据血缘
  3. 从Spark SQL语句中获取数据血缘
  4. 从Flink中获取数据血缘
  5. 从数据任务的编排系统中获取数
相关推荐
鸿儒之观2 小时前
hadoop 框架 jar下载
大数据·hadoop·jar
kevin 12 小时前
扫描件、PDF、图片都能比对!让文档差异无所遁形
大数据·人工智能·pdf
Acrel136119655143 小时前
别让电能质量问题拖后腿:工业场景中电能治理的战略意义
大数据·人工智能·能源·创业创新
不辉放弃4 小时前
详细讲解pyspark中dsl格式进行大数据开发中的的所有编程情况
大数据·spark
IT研究室4 小时前
大数据毕业设计选题推荐-基于大数据的分化型甲状腺癌复发数据可视化分析系统-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
zandy10114 小时前
LLM与数据工程的融合:衡石Data Agent的语义层与Agent框架设计
大数据·人工智能·算法·ai·智能体
计算机编程小央姐4 小时前
数据安全成焦点:基于Hadoop+Spark的信用卡诈骗分析系统实战教程
大数据·hadoop·python·spark·毕业设计·课程设计·dash
时序数据说4 小时前
时序数据库IoTDB的六大实用场景盘点
大数据·数据库·物联网·时序数据库·iotdb
阿豪35 小时前
2025 年职场:B 端产品经理用计算机专业技能优化产品全攻略(经验分享)
大数据·人工智能·科技·信息可视化·产品经理
数据智研5 小时前
【数据分享】土地利用矢量shp数据分享-甘肃
大数据·信息可视化