hadoop

Francek Chen2 小时前
大数据·hadoop·分布式·mapreduce
【大数据处理与分析】MapReduce:06 MapReduce编程实践【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
王小王-1232 小时前
大数据·hadoop·数据分析·大数据房价分析·二手房价格预测·hive房价数据分析
基于 Hadoop 的二手房数据分析与可视化平台项目展示目录项目整体介绍项目背景与建设思路技术架构与功能模块数据处理与分析设计系统界面与交互效果可视化大屏与图表展示
知识分享小能手3 小时前
数据库·hadoop·分布式
Hadoop学习教程,从入门到精通, HBase 分布式数据库 — 完整知识点与案例代码(8)HBase(Hadoop Database)是一个分布式的、面向列的开源数据库,基于 Google Bigtable 的设计思想构建。
王小王-1233 小时前
大数据·hadoop·分布式·心脏病预测系统·疾病预测·冠心病风险预测
基于 Hadoop 的心脏病分析可视化与风险预测系统目录一、项目背景:把健康数据真正用起来二、数据处理:从原始表到可分析数据三、可视化分析:让指标结果变成页面
TPBoreas9 小时前
数据仓库·hive·hadoop
springboot3.5比2.x做了哪儿些提升先说结论:Spring Boot 3.5 相对 2.x,不是小版本升级,而是一整代(3.0 → 3.5)的现代化改造。3.5 是 3.x 的最后一个 minor,在 2.x 基础上叠加了基础栈换代 + 性能 + 开发体验 + 可观测性 + 运维能力。
Nefu_lyh2 天前
数据仓库·hive·hadoop
【Hive】七、Hive 函数:聚合 / 统计 / 分位数 / 集合 / 高级分组聚合函数(Aggregate Functions)是 Hive 中用于对一组行进行计算并返回单个结果的函数,通常配合 GROUP BY 使用,是数仓查询、报表统计的核心工具。
阿 才2 天前
大数据·hadoop·分布式
跟文件系统(busybox)的构建1、下载busybox:git clone git://busybox.net/busybox.git 下载完毕后,我们输入如下命令,切换到指定版本<busybox 1.36.1>
KANGBboy2 天前
数据仓库·hive·hadoop
hive UDF函数1.1 UDF(User-Defined-Function) 一进一出。 1.2 UDAF(User-Defined Aggregation Function) 用户自定义聚合函数,多进一出。类似于count/max/min 1.3 UDTF(User-Defined Table-Generating Functions) 用户自定义表生成函数,一进多出。如lateral view explode()
暴躁小师兄数据学院3 天前
大数据·hadoop·flink·spark
【AI大数据工程师特训笔记】第15讲:大数据环境安装目录第一章:WSL 与 Java 环境安装第二章:Hadoop 安装与配置第三章:Hive 安装与配置
王小王-1233 天前
hadoop·数据分析·flask·电动汽车·新能源汽车数据分析·新能源汽车销量分析·新能源汽车销售分析
基于 Hadoop + Flask 的电动汽车数据分析与可视化系统设计与实现目录1 项目简介2 项目背景与应用场景3 项目整体功能介绍4 技术路线与开发环境5 系统功能模块展示5.1 数据采集与预处理模块
王小王-1233 天前
hadoop·机器学习·数据分析·心脏病预测
基于机器学习与Hadoop的心脏病数据分析与可视化设计与实现有需要本项目的代码或文档以及全部资源,或者部署调试可以私信博主图1 项目封面效果一、项目整体介绍这套项目围绕心脏病健康数据展开,从原始数据整理、字段清洗、统计聚合、模型预测到可视化大屏呈现,形成了一条比较完整的数据挖掘实践链路。数据字段覆盖 BMI、吸烟、饮酒、中风、身体健康天数、精神健康天数、行走困难、年龄段、糖尿病、总体健康、睡眠时长、哮喘、肾病、皮肤癌等多个维度,既能做基础统计,也能继续向机器学习预测方向扩展。
知识分享小能手3 天前
大数据·hadoop·学习
Hadoop学习教程,从入门到精通, Hadoop 3.x 高可用集群 — 知识点详解(6)核心知识点:在 Hadoop 1.x 中,NameNode 存在单点故障(SPOF)。HDFS HA 通过配置 Active/Standby 两个 NameNode 来解决此问题。
知识分享小能手4 天前
hadoop·分布式·zookeeper
Hadoop学习教程,从入门到精通, ZooKeeper 分布式协调服务 — 全面知识点与案例代码(5)ZooKeeper 是 Apache 软件基金会的一个开源项目,最初由 Google 的 Chubby 论文启发而来。它是一个分布式的、开放源码的分布式应用程序协调服务,是 Google Chubby 的一个开源实现。
知识分享小能手5 天前
hadoop·学习·mapreduce
Hadoop学习教程,从入门到精通, MapReduce分布式计算框架 — 完整知识点与代码案例(4)MapReduce是Hadoop的核心组件之一,是一种分布式并行编程模型,用于大规模数据集(大于1TB)的并行运算。它将复杂的、运行于大规模集群上的并行计算过程高度抽象为两个函数:Map(映射) 和 Reduce(归约)。
白日与明月5 天前
数据仓库·hive·hadoop
Hive子查询中的ORDER BY陷阱:为什么排序“消失”了?今日和同事争论了片刻,背景是这样的, 有个客户写了一个SQL, 然后其中需要进行排序, 但是写了Order by, 但是排序没有生效. 然后我就尝试了下, 果然,在大数据平台里执行,是报错的. 但是在beeline执行, 查询结果是正常的, 所以就怀疑研发写了一个BUG, 于是就开始争论. SQL很简单,简写为
段一凡-华北理工大学5 天前
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
工业领域的Hadoop架构学习~系列文章24:adoop工业应用总结与展望 - 技术路线图与最佳实践导言:作为专栏的收官之作,本期对《工业领域的Hadoop架构学习》进行系统性总结,回顾核心技术要点,提炼最佳实践经验,并展望未来的技术发展方向,为读者提供完整的技术路线图和持续学习指南。
段一凡-华北理工大学5 天前
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
工业领域的Hadoop架构学习~系列文章23:物流行业Hadoop应用实践 - 智能物流的数字化引擎导言:物流行业是数据密集型行业,涵盖仓储、运输、配送、最后一公里等多个环节。本期深入讲解Hadoop在智能仓储、路径优化、需求预测、车辆调度等场景的应用,从数据采集到智能决策,完整呈现物流大数据的落地实践。
奇点爆破XC6 天前
大数据·hadoop·ambari
Hadoop大数据生态(Ambari管理)组件服务详解本文档整理Ambari集群全量核心组件、附属工具及安全服务,按业务模块分类,清晰说明各服务、角色的定位与核心功能,适用于集群运维、学习查阅、台账备案。
段一凡-华北理工大学6 天前
大数据·人工智能·hadoop·分布式·学习·架构·高炉炼铁
工业领域的Hadoop架构学习~系列文章22:Hadoop生态展望 - 面向未来的技术演进导言:大数据技术正在经历深刻变革,云原生化、湖仓一体、AI融合成为新的发展方向。本期深入探讨Hadoop生态的技术演进趋势,分析云原生Hadoop、数据网格、向量数据库等前沿技术,为企业和开发者提供技术路线参考。
Nefu_lyh6 天前
数据仓库·hive·hadoop
【Hive】六、Hive 运算逻辑:数学 / 逻辑 / 条件 / 日期 / 字符串函数Hive 支持标准 SQL 的数学运算符,用于数值计算。用于条件判断和布尔运算,返回 TRUE/FALSE/NULL。