hadoop

dinl_vin25 分钟前
数据仓库·hive·hadoop
Hive 深度解析:从原理到实践在大数据时代,Hive 作为 Hadoop 生态的数仓基石,依然是企业数据平台的核心组件。本文将从原理、SQL、优化到自定义函数,全面解析 Hive 的实战应用。
Francek Chen2 小时前
大数据·数据库·hadoop·分布式·hdfs·hbase
【大数据存储与管理】分布式数据库HBase:03 HBase数据模型【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
旺仔Sec12 小时前
大数据·hadoop
2026年广东省职业院校技能大赛中职组“大数据应用与服务“赛项任务书(三)需要竞赛样题答案可联系博主!!1.子任务一:基础环境准备 本任务需要使用 root 用户完成相关配置,安装 Hadoop 需要配置前置环境。命令中要求使用绝对路径,具体要求如下: (1)配置三个节点的主机名,分别为 master、slave1、slave2,然后修改三个节点的 hosts 文件,使得三个节点之间可以通过主机名访问,在 master 上将执行命令 cat /etc/hosts 的结果复制并粘贴至【提交结果.docx】中对应的任务序号下;
晨曦54321017 小时前
hadoop·虚拟机
CentOS网络配置全解析:从ifconfig到实战你运行了 ifconfig 命令,查看了 CentOS 虚拟机的网络接口信息。下面我来帮你 逐行解读 这个输出,让你彻底理解每一部分含义。
Elieal19 小时前
数据仓库·hive·hadoop
Tomcat面试表格预览查看代码浏览器发送HTTP请求Tomcat端口监听(Connector)Endpoint接收TCP连接,交给Processor解析HTTP协议
网络工程小王2 天前
hadoop·hdfs·big data
【大数据技术详解】——HDFS技术(学习笔记)HDFS(Hadoop Distributed File System)是 Hadoop 的核心组件之一,设计用于存储超大规模数据集,并运行在廉价硬件上。其核心特点包括:
升职佳兴2 天前
数据仓库·hive·hadoop
告别 nohup:Hive Metastore 交给 systemd 托管的完整步骤在 Hadoop 3 + Hive 3 的学习环境中,Hive Metastore 通常是通过如下方式启动的:
IT从业者张某某2 天前
java·hadoop·docker
Docker部署Hadoop-04-把Hadoop容器导出导入并使用Docker部署Hadoop-01-Docker安装 Docker部署Hadoop-02-Docker常见操作 Docker部署Hadoop-03-Docker部署Hadoop
王的宝库2 天前
hive·hadoop·sql·mapreduce
MapReduce / Hive / Pig :从底层批处理到 SQL/脚本落地最近整理大数据离线计算这块内容时,我最大的感受是:MapReduce 是底层发动机,而 Hive / Pig 是“让我们少写 Java”的上层工具。理解它们的定位和边界,做实验和写作业会顺很多,也能少踩坑。
IT从业者张某某2 天前
hadoop·docker·eureka
Docker部署Hadoop-01-Docker安装本文将在Ubuntu22.04环境中完成Docker的部署与测试Docker基础:Docker是什么,为什么这么火?
升职佳兴2 天前
大数据·hadoop·分布式
Hadoop 三节点集群环境变量工程化:从 /etc/profile 迁移到 /etc/profile.d/ 全过程记录摘要:本文记录了我在三节点 Hadoop 集群(hadoop1 / hadoop2 / hadoop3)上,将所有自定义环境变量从 /etc/profile 末尾"一锅炖"的写法,迁移到 /etc/profile.d/*.sh 按组件拆分的过程。包含完整操作步骤、验证方法、踩坑排查,以及最终三台机器的验收结果。适合刚接触 Hadoop 和 Linux 环境管理的初学者参考。
IT从业者张某某2 天前
hadoop·docker·容器
Docker部署Hadoop-05-配置Docker容器的命名卷和挂载卷Docker部署Hadoop-01-Docker安装 Docker部署Hadoop-02-Docker常见操作 Docker部署Hadoop-03-Docker部署Hadoop
网络工程小王2 天前
大数据·hive·hadoop
【大数据技术详解】——HIVE技术(学习笔记)Hive是基于Hadoop的数据仓库工具,可将结构化数据文件映射为数据库表,并提供类SQL查询功能(HQL)。其本质是将SQL语句转换为MapReduce任务运行,适合离线批处理场景。
IT从业者张某某2 天前
hadoop·docker·容器
Docker部署Hadoop-03-Docker部署HadoopDocker部署Hadoop-01-Docker安装Docker部署Hadoop-02-Docker常见操作
瓦中空花2 天前
大数据·hadoop·分布式
如何基于现有平台处理hadoop挂了的情况?基于今天数据处理的过程,回顾一下今天数据出现问题时,如何处理的流程(仅个人经验)。目前我司建立的大数据平台还在建设期间,不过基于一段时间的交接,我已经对我司关于数据治理中hadoop底层有了基本的了解。
Thomas.Sir2 天前
大数据·hadoop·分布式·yarn
Hadoop YARN:大数据集群的“操作系统”在Hadoop 2.0之前,MapReduce框架身兼“资源管理”与“作业调度”两职,随着集群规模扩大,这种紧耦合设计成为性能瓶颈。YARN(Yet Another Resource Negotiator)的诞生,正是为了解决这一问题——它将资源管理与计算框架解耦,让Hadoop从一个单一的计算平台,演变为一个支持多种计算模型(如Spark、Flink、Storm)的通用资源调度平台。
IT从业者张某某2 天前
hadoop·docker·容器
Docker部署Hadoop-02-Docker常见操作本教程聚焦Hadoop部署必需的Docker核心技能,剔除无关知识点,只讲后续搭建Hadoop单机/分布式集群时一定会用到的Docker操作,确保知识点精准、实战性强。
B站计算机毕业设计超人16 天前
大数据·vue.js·hadoop·django·毕业设计·课程设计·推荐算法
计算机毕业设计Django+Vue.js高考推荐系统 高考可视化 大数据毕业设计(源码+LW文档+PPT+详细讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
B站计算机毕业设计超人16 天前
大数据·vue.js·hadoop·python·spark·django·课程设计
计算机毕业设计Django+Vue.js音乐推荐系统 音乐可视化 大数据毕业设计 (源码+文档+PPT+讲解)温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片!
十月南城16 天前
大数据·数据库·数据仓库·hive·hadoop·spark
数据湖技术对比——Iceberg、Hudi、Delta的表格格式与维护策略写在前面,本人目前处于求职中,如有合适内推岗位,请加:lpshiyue 感谢。数据湖表格式不是简单的存储规范,而是元数据管理、事务控制与性能优化的综合体现,决定了数据平台的开放性与成熟度