尚硅谷大数据技术-数据湖Hudi视频教程-笔记02【核心概念(基本概念、数据写、数据读)】

大数据新风口:Hudi数据湖(尚硅谷&Apache Hudi联合出品)

  1. B站直达:https://www.bilibili.com/video/BV1ue4y1i7na 尚硅谷数据湖Hudi视频教程
  2. 百度网盘:https://pan.baidu.com/s/1NkPku5Pp-l0gfgoo63hR-Q?pwd=yyds
  3. 阿里云盘:https://www.aliyundrive.com/s/uMCmjb8nGaC(教程配套资料请从百度网盘下载)

  1. 尚硅谷大数据技术-数据湖Hudi视频教程-笔记01【概述、编译安装】

  2. 尚硅谷大数据技术-数据湖Hudi视频教程-笔记02【核心概念(基本概念、数据写、数据读)】

  3. 尚硅谷大数据技术-数据湖Hudi视频教程-笔记03【集成Spark】

  4. 尚硅谷大数据技术-数据湖Hudi视频教程-笔记04【集成Flink】

  5. 尚硅谷大数据技术-数据湖Hudi视频教程-笔记05【集成Hive】

目录

[第3章 核心概念](#第3章 核心概念)

010

011

012

013

014

015

016

017

018

019

020

021

022

023

024

025


第3章 核心概念

010

++第3章 核心概念++

++3.1 基本概念++

++3.1.1 时间轴(TimeLine)++

011

++3.1.2 文件布局(File Layout)++

012

++3.1.2 文件布局(File Layout)++

013

++3.1.3 索引(Index)++

1)原理

014

++3.1.3 索引(Index)++

2)索引选项

015

++3.1.3 索引(Index)++

3)全局索引与非全局索引

016

++3.1.3 索引(Index)++

4)索引的选择策略

017

++3.1.4 表类型(Table Types)++

1)Copy On Write

018

++3.1.4 表类型(Table Types)++

2)Merge On Read

019

++3.1.4 表类型(Table Types)++

3)COW与MOR的对比

cow:批处理、mor:流批都行,更推荐流。

020

++3.1.5 查询类型(Query Types)++

1)Snapshot Queries 快照查询:全量最新。

2)Incremental Queries

3)Read Optimized Queries

021

++3.1.5 查询类型(Query Types)++

4)不同表支持的查询类型

022

++3.2 数据写++

++3.2.1 写操作++

++3.2.2 写流程(UPSERT)++

1)Copy On Write

2)Merge On Read

023

++3.2.3 写流程(INSERT)++

1)Copy On Write

2)Merge On Read

++3.2.4 写流程(INSERT OVERWRITE)++

1)COW

2)MOR

3)优点

4)缺点

024

++3.2.5 Key 生成策略++

++3.2.6 删除策略++

1)逻辑删

2)物理删

++3.2.7 总结++

025

++3.3 数据读++

++3.3.1 Snapshot读++

++3.3.2 Incremantal读++

++3.3.3 Streaming读++

++3.4 Compaction++

相关推荐
yumgpkpm3 小时前
银行智能数据平台在Cloudera CDH6\CDP 7\CMP 7平台下的具体使用配置流程
大数据·hive·hadoop·数据挖掘·flink·spark·cloudera
秦拿希9 小时前
【paimon-trino】trino整合paimon元数据访问s3
大数据·trino·paimon
kuankeTech9 小时前
解决内外贸双轨制难题,外贸ERP智能引擎同步管理国内外合规与标准
大数据·人工智能·数据可视化·软件开发·erp
q_354888515310 小时前
AI大模型:python新能源汽车推荐系统 协同过滤推荐算法 Echarts可视化 Django框架 大数据毕业设计(源码+文档)✅
大数据·人工智能·python·机器学习·信息可视化·汽车·推荐算法
一只专注api接口开发的技术猿15 小时前
微服务架构下集成淘宝商品 API 的实践与思考
java·大数据·开发语言·数据库·微服务·架构
AC赳赳老秦16 小时前
Dify工作流+DeepSeek:运维自动化闭环(数据采集→报告生成)
android·大数据·运维·数据库·人工智能·golang·deepseek
明洞日记16 小时前
【软考每日一练009】计算机系统性能评价:基准程序分类与 TPC 实战案例详解
大数据·数据库
李慕婉学姐16 小时前
【开题答辩过程】以《基于Spring Boot和大数据的医院挂号系统的设计与实现》为例,不知道这个选题怎么做的,不知道这个选题怎么开题答辩的可以进来看看
大数据·spring boot·后端
汽车仪器仪表相关领域16 小时前
全程高温伴热,NOx瞬态精准捕捉:MEXA-1170HCLD加热型NOx测定装置项目实战全解
大数据·服务器·网络·人工智能·功能测试·单元测试·可用性测试