学习背景和学习规划

为什么要学习大数据相关的技术?

随着工作年限的增加,JAVA已经陪伴我五年有余了,这些年的工作中我能够明显感觉到一些web开发领域的变化。刚开始工作时公司做的项目大多是一些功能单一、用户量极少的web应用,这种项目对技术和性能的要求不大,基本上功能写出来项目就能满足需求的运行;再往后看公司的项目开始渐渐的复杂起来,最开始的简单增删改查已经不好满足需求了,用户需求侧也开始慢慢对性能有了要求,但这个时候大部分项目在架构设计上通过索引缓存优化、页面静态化等这些技术也能够实现功能完成需求。

思考未来的web应用发展,随着互联网技术的发展很多现有的web应用随着使用时间的增加,数据量也慢慢积攒了起来,数据量大了以后想要分析某些数据,如果继续使用原来的方式就会变得很慢,分析数据时间长了以后一些实时的操作就无法继续支撑;如今平台应用慢慢多了起来,后续在ai相关的领域下大概率会出现很多数据分析处理岗位的空缺,技多不压身,所以打算趁空闲时间学习一下大数据相关的技术。

入门大数据相关技术需要具备哪些基础?

浏览了一些博客和一些技术的官方文档,了解到入门的话大致需要三个模块的基础,JAVA、SQL和LINUX,好在工作了几年,这三方面基础的话还是比较扎实的。

学习计划

浏览了一些文档和博客,目前理解大数据工作流程大致分为四个模块:

  1. 数据的采集与存储
  2. 数据的管理与查询
  3. 数据计算
  4. 数据的可视化展示与分析

不同的模块需要学习一些不同的技术和处理方式,1.数据的采集与存储 需要学习Hadoop基础,了解大数据基础组件HDFS、MR、Yarn原理,学习Hive大数据存储和分析重点技术组件,学习HbaseNosql列式存储数据库,学习ETL数据同步和集成,这一部分是大数据的核心基础功能,后续的计算和展示都要在此基础上进行。2.数据的管理与查询 数据采集后需要进行管理和查询操作,要了解数据仓库体系、数据治理体系、OLAP查询三部分内容。3.数据计算 需要学习Spark和Flink,学习Spark的批处理及近实时分析,学习Flink的流处理实时分析。4.数据的可视化展示与分析 需要学习一些常见的报表工具和Python的Pandas/Numpy/Matplot数据分析工具。
仅做为个人笔记

相关推荐
电科_银尘4 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
数字新视界4 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
QuZhengRong5 小时前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
阿里云大数据AI技术5 小时前
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景
大数据·人工智能·agent
武子康7 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
软件技术NINI8 小时前
DeepSeek 大模型落地应用实战指南
大数据·人工智能
承渊政道10 小时前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
wuyk55510 小时前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
诗句藏于尽头11 小时前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏
希和202711 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习