【大数据学习笔记】新手学习路线图

第1阶段-数据仓库基

1.MysQL关系型数据库

(MySQL介绍、MySQL安装、MySQL基础语法、MySQL高级语法、MySQL系统架构、MySQL存储引擎、MySQL索引、MySQL备份恢复、MySQL主从、主主复制、MySQL存储过程、MySQL分库分表、MySQL综合案例、MySQL性能优化)

2.Python编程技术

(Python基础语法、Python循环、Python集合、Python函数、Python面向对象、Python操作各种数据库介绍)

第2阶段-Linux &Hadoop

1.Hadoop

(大数据介绍、Hadoop三件套、HDFS系统架构、HDFS之Block、HDFS之FSImage和Edits
HDFS之Checkpoint、HDFS的读和写流程、HDFS的Shell操作、YARN系统架构、YARN的资源调度策略、YARN的调度配置、基于YARN的作业提交)

2.Linux操作系统

(命令操作、权限管理、软件安装、系统内核剖析)

3.Shell脚本编程

(shell介绍、Shell基础语法、Shell高级语法、Shell编程案例)

第3阶段-数据仓库与ETL技术

1.Hive

(Hive的介绍、Hive安装部署、Hive元数据、Hive内外部表、Hive数据类型、Hive基础SQL、Hive分区、Hive分桶、Hive高级SQL、Hive常用自带函数、Hive窗口函数、Hive自定义函数)

2.Datax

(DataX30概览、DataX3.0框架设计、DataX3.0插件体系、DataX3.0核心架构DataX3.0六大优势、DataX的Reader插件、DataX的Writer插件、DataX数据同步案例、DataX数据同步优化)

3.Hue

(Hue概述、Hue系统架构、Hue连接器、Hue编辑器、Hue操作)

4.ClickHouse

(特征与性能、集群安装部署、集群基础操作、数据类型、ClickHouse的库表引擎、ClickHouse常见函数、Column、Field和DataType、Block与Block流、Parser与lnterpreter、分片与副本、客户端工具)

5.DolphinScheduler

(DolphinScheduler介绍、DolphinScheduler特性、DolphinScheduler系统架构、DolphinScheduler启动流程、DolphinScheduler架构设计思想、DolphinScheduler安装部署、DolphinScheduler调度项目、DolphinScheduler调度任务)

6.数据仓库技术

(数据仓库概述、数据仓库架构、数据建模、事实表和维度表、主题域与主题、拉链表、多维体系结构、数据仓库规范、元数据管理、离线与实时数据仓库)

7.零售数据仓库项目

(项目介绍、技术架构、项目架构、项目流程、项目实施与部署)

8.Flume

(Flume介绍、Flume系统架构、Flume组件、Flume的Source、Flume的Channel、Flume的Sink、Flume的拦截器、Flume的选择器、Flume案例、Flume优化)

9.SparkSQL

(Spark介绍、SparkSQL介绍、SparkSQL的数据抽象、SparkSQL数据装载、SparkSQL数据落地、SparkSQL自带函数、SparkSQL自定义函数、SparkSQL与Hive整合、SparkSQL底层运行流程)

第4阶段-BI数据分析与可视化

1.零售BI数据平台项

(项目介绍、项目技术、项目流程、项目研发与实施)

2.Superset

(Superset概览、Superset安装部署、Superset数据源、Superset的Charts、Superset的Dashboards、Superset的SOL-Lab、Superset地图可视化、Superset报表案例、Superset大屏案例、Superset权限管理)

3.FineBI&FineReport

(帆软介绍、安装部署与启动、初始化设置、初识FineBI、FineBI俗语、FineBI与数据源整合、数据加工、构建图表与数据分析、仪表板及其分享、函数应用、数据分析模型、数据处理与计算、表格与图表组件交互与组件联动、数据跳转与钻取、数据切片与筛选)

第5阶段-项目自研

1.自研数据仓库项目

(自研数据仓库项目、云学习大数据平台项目、云学习用户画像项目、电商大数据平台项目、问答大数据平台)

第6阶段-专题拓展

1.数据质量与治理专题

(数据质量介绍、数据治理介绍、元数据管理介绍、数据血缘介绍、基于DolphinScheduler的质量案例、基于Atlas的数据质量与治理案例)

2.阿里云大数据服务专题

(阿里云大数据服务介绍、DataWorks和MaxCompute组件、阿里云数据集成与其它常用组件、离线数据开发、任务调度)

相关推荐
马***4116 小时前
适配成人英语学习痛点,打造落地性强的学习辅助方式
人工智能·学习
闹小艾6 小时前
舞蹈教培机构小程序零基础制作开发全流程教程
大数据·小程序
阿乔外贸日记6 小时前
2026尼日利亚五项清关政策更新,拉高能源装备进口综合成本
大数据·人工智能·搜索引擎·智能手机·云计算·能源
民乐团扒谱机6 小时前
【AI笔记】短时纯音时长对音高感知偏移效应研究综述
人工智能·笔记
暴躁小师兄数据学院7 小时前
【AI大数据工程师特训笔记】第12讲:表分区与索引
大数据·笔记·sql·postgresql
侃谈科技圈7 小时前
破除数据中台落地困境:2026数据治理平台差异化能力与选型决策指南
大数据·人工智能
Elastic 中国社区官方博客7 小时前
Elasticsearch DiskBBQ:使用原生 SIMD Blocks 实现快 40% 的向量评分计算
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·diskbbq
小拉达不是臭老鼠8 小时前
Unity学习_ScriptableObject
学习·unity
暴躁小师兄数据学院8 小时前
【AI大数据工程师特训笔记】第16讲:大数据环境安装
大数据·hadoop·笔记·flink·spark·database
豆豆8 小时前
垂直行业门户网站搭建解决方案与落地实操指南
大数据·cms·pageadmin·自定义模型·垂直门户·行业建站·站群建设