hadoop

B站计算机毕业设计超人2 天前
大数据·vue.js·hadoop·django·毕业设计·课程设计·推荐算法
计算机毕业设计Django+Vue.js高考推荐系统 高考可视化 大数据毕业设计(源码+LW文档+PPT+详细讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
B站计算机毕业设计超人2 天前
大数据·vue.js·hadoop·python·spark·django·课程设计
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
十月南城2 天前
大数据·数据库·数据仓库·hive·hadoop·spark
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略写在前面,本人目前处于求职中,如有合适内推岗位,请加:lpshiyue 感谢。数据湖表格式不是简单的存储规范,而是元数据管理、事务控制与性能优化的综合体现,决定了数据平台的开放性与成熟度
王九思2 天前
数据仓库·hive·hadoop
Hive Thrift Server 介绍Hive Thrift Server 是 Apache Hive 提供的一个基于 Thrift 协议的服务端组件(HiveServer2),允许客户端通过 Thrift API 远程访问 Hive 的数据和元数据。它支持多种编程语言(如 Java、Python、C++等),便于外部应用与 Hive 交互,常用于数据查询、ETL 操作等场景。
Asher05092 天前
数据仓库·hive·hadoop
Hive核心知识:从基础到实战全解析Hive是基于Hadoop的数据仓库工具,本质是将SQL转化为MapReduce(或Tez、Spark)任务来执行,核心用于处理大规模结构化/半结构化数据的存储与分析,不适合实时计算(延迟较高)。
yumgpkpm2 天前
人工智能·hadoop·elasticsearch·zookeeper·flink·kafka·cloudera
AI视频生成:Wan 2.2(阿里通义万相)在华为昇腾下的部署?AI视频生成:Wan 2.2(阿里通义万相)在华为昇腾下的部署?Wan 2.2(阿里通义万相)已在华为昇腾平台实现官方支持部署。根据 2025年7月发布的《A24b_昇腾算子注册与模型迁移》技术文档 及 昇腾社区实战案例,Wan 2.2 可通过 PyTorch NPU 插件 + 自定义算子适配 的方式,在 Atlas 系列服务器(如 Atlas 800/300I) 上高效运行。
Asher05092 天前
大数据·hadoop·分布式
Hadoop核心技术与实战指南Hadoop是一个开源的、分布式的大数据处理框架,由Apache基金会开发,核心目标是高效处理海量数据(TB/PB级),适用于数据量大、数据类型复杂(结构化、半结构化、非结构化)、实时性要求不高的场景(离线计算)。
江畔何人初3 天前
大数据·hadoop·hdfs
hadoop中HDFS框架、YARN框架各组件职责与对比HDFS(Hadoop Distributed File System)是 Hadoop 的分布式存储系统。它的设计目的是能够处理海量数据,确保数据存储的高可靠性和高可用性。这个系统的核心结构主要包括 NameNode、DataNode、Secondary NameNode 和 HDFS Client。我们来逐个了解它们的作用。
Francek Chen4 天前
大数据·hadoop·分布式·hdfs
【大数据存储与管理】分布式文件系统HDFS:05 HDFS存储原理【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
一号IT男5 天前
数据仓库·hive·hadoop
Hive中GROUPING SETS功能详解我们来详细讲解一下 Hive 中的 GROUPING SETS 功能。这是一个非常强大且实用的特性,用于实现高级的多维数据分析。
500佰5 天前
大数据·linux·数据仓库·hive·hadoop·云计算·运维开发
Hive常见故障多案例FAQ宝典 --项目总结(宝典一)🥇个人主页:500佰#Hive常见故障 #大数据 #生产环境真实案例 #Hive #离线数据库 #整理 #经验总结
小邓睡不饱耶7 天前
大数据·hadoop·云原生
Hadoop 3.x 企业级实战指南:从纠删码到云原生容器化Hadoop 3.x 已经不再是那个"笨重"的离线批处理系统。随着纠删码(Erasure Coding)、YARN Docker容器化、多NameNode HA等特性的成熟,Hadoop 3.x 在存储效率、资源弹性和高可用性方面实现了质的飞跃。本文将通过大量实战代码,带你掌握这些核心技术。
数据知道9 天前
hadoop·postgresql·spark
PostgreSQL:详解 PostgreSQL 与Hadoop与Spark的集成在现代数据架构中,PostgreSQL 作为功能强大的 OLTP(在线事务处理)和轻量级 OLAP(在线分析处理)数据库,常需与 Hadoop 生态(HDFS、Hive、HBase)和 Apache Spark(大规模分布式计算引擎)协同工作,以构建完整的 Lambda/Kappa 架构 或 混合事务/分析处理(HTAP)平台。
Francek Chen9 天前
大数据·hadoop·分布式·hdfs
【大数据存储与管理】分布式文件系统HDFS:03 HDFS的相关概念【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
Timer_Cooker10 天前
数据仓库·hive·hadoop
Hive Sum(null)编译报错分析业务需求需要使用hive统计积分point字段,不假思索写上了sum(point)的字段映射,造数null,空格串,空串,数字字符串,含有字母的数字串,结果符合预期。如图:
之歆11 天前
大数据·hadoop·mapreduce
Hadoop MapReduce 详解想象一个巨大的文档分类任务,一个人处理要一个月。MapReduce 把这个任务分配给一百个人,每人处理一小部分,最后把结果汇总,半小时就完成了!这就是 MapReduce 的威力!
大数据基础12 天前
大数据·vue.js·hadoop·spring boot·数据分析·maven·mapreduce
基于 Hadoop MapReduce + Spring Boot + Vue 3 的每日饮水数据分析平台本文详细介绍一个完整的大数据分析项目,从数据采集、MapReduce 分析处理到前端可视化展示的全流程实现。项目采用 Hadoop MapReduce 进行大数据分析,Spring Boot 提供 RESTful API,Vue 3 + ECharts 实现数据可视化。
workflower12 天前
java·hadoop·nosql·需求分析·big data·结对编程
多变量时间序列预测“多变量时间序列预测(Multivariate Time Series Forecasting)” 和 “带有外生变量的时间序列预测(Time Series Forecasting with Exogenous Variables)” 两大研究主题。根据具体建模方式和问题语境,还可以进一步细分为动态回归(Dynamic Regression)、VARX 模型、条件预测(Conditional Forecasting) 等。下面从概念、经典方法、现代方法以及实际意义四个方面为你梳理。
docsz13 天前
hadoop
Rocky Linux 9.4部署Hadoop 3.4.2 高可用集群注:每个节点都要按配置文件修改