技术栈
hdfs
6.94
1 天前
大数据
·
hdfs
·
spark
Spark,HDFS客户端操作
hadoop客户端环境准备找到资料包路径下的Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如d:\hadoop-3.1.0)
:mnong
2 天前
c++
·
qt
·
hdfs
·
开放原子
·
图形渲染
·
webgl
·
opengl
开放原子大赛石油软件赛道参赛经验分享
油藏数值模拟是油气田开发中至关重要的一环。油藏数值模拟将储层与井的数学模型离散求解,预测地下流体、能量等的动态变化,广泛应用于油田产量评估、开发方案优化等。随着计算机技术特别是并行技术的发展,油藏数值模拟的网格规模可达亿级到十亿级。如此大规模的油藏模型对三维可视化是一个挑战。
IT成长日记
12 天前
hive
·
hadoop
·
hdfs
·
数据导出
【Hive入门】Hive数据导出完全指南:从HDFS到本地文件系统的专业实践
目录引言1 Hive数据导出概述1.1 数据导出的核心概念1.2 典型导出场景2 Hive到HDFS导出详解
李菠菜
14 天前
大数据
·
hadoop
·
hdfs
常用Hadoop HDFS命令详解与实用指南
Hadoop HDFS(分布式文件系统)通过命令行工具提供了丰富的文件管理功能。使用 hadoop fs 命令可以方便地操作 HDFS 文件和目录,类似于 Linux 系统的文件管理命令。本文将围绕常用的 HDFS 操作命令进行详细讲解,并用实例展示实用技巧,帮助你快速上手。
和算法死磕到底
14 天前
大数据
·
数据库
·
hive
·
hadoop
·
mysql
·
hdfs
·
dubbo
ubantu18.04(Hadoop3.1.3)Hive3.1.2安装指南
注意所有打开的文件都要记得保存。本文的操作均在Master主机下进行本文是在之前Hadoop搭建完集群环境后继续进行的,因此需要读者完成我之前教程的所有操作。
IT成长日记
16 天前
大数据
·
hadoop
·
hdfs
·
数据迁移与备份
【HDFS】HDFS数据迁移与备份全攻略:从日常备份到灾难恢复
目录1 HDFS数据迁移与备份概述2 集群间数据迁移:DistCp工具详解2.1 DistCp工作原理架构
IT成长日记
19 天前
hadoop
·
hdfs
·
mapreduce
·
yarn
【HDFS入门】HDFS与Hadoop生态的深度集成:与YARN、MapReduce和Hive的协同工作原理
目录引言1 HDFS核心架构回顾2 HDFS与YARN的集成3 HDFS与MapReduce的协同4 HDFS与Hive的集成
IT成长日记
22 天前
hadoop
·
hdfs
·
架构
·
journalnode
【HDFS入门】HDFS核心组件JournalNode运行机制剖析:高可用架构的基石
目录1 JournalNode的角色定位2 核心职责详解2.1 主要功能2.2 与各组件交互关系3 JournalNode集群工作原理
爱编程的王小美
1 个月前
mysql
·
hdfs
·
hbase
数据一致性:MySQL、HBase和HDFS的协同
在分布式系统中,确保MySQL、HBase和HDFS之间的数据一致性面临以下挑战:不同存储系统的特性差异
Y1nhl
1 个月前
大数据
·
数据结构
·
python
·
学习
·
算法
·
hdfs
·
pyspark
Pyspark学习二:快速入门基本数据结构
写在前面:实际工作中其实不需要自己安装和配置,更重要的是会用。所以就不研究怎么安装配置了。 前面介绍过:简单来说,Spark是一款分布式的计算框架,用于调度成百上千的服务器集群,计算TB、PB乃至EB级别的海量数据。Spark作为全球顶级的分布式计算框架,支持众多的编程语言进行开发。Python语言,则是Spark重点支持的方向,体现为Python第三方库:PySpark。
今天我又学废了
1 个月前
大数据
·
hdfs
·
spark
Spark,HDFS概述
HDFS组成构架:注:NameNode(nn):就是 Master,它是一个主管、管理者。(1) 管理 HDFS 的名称空间;
闯闯桑
1 个月前
大数据
·
hdfs
·
spark
Spark 从HDFS读取时,通常按文件块(block)数量决定初始partition数,这是怎么实现的?
在 Spark 中,从 HDFS 读取数据时按文件块(block)数量决定初始 partition 数,这一机制是通过 Hadoop InputFormat 的分片(split)策略实现的。具体流程如下:
wenying_44323744
2 个月前
hadoop
·
hdfs
·
eclipse
hadoop-HDFS操作
1. 使用的是hadoop的用户登录到系统,那么 cd ~ 是跳转到/home/hadoop下。2. 在操作hdfs时,需要在hadoop用户下的/usr/local/hadoop,此时是在根目录下。
火龙谷
2 个月前
大数据
·
hadoop
·
hdfs
hadoop第3课(hdfs shell)
显示目录下的文件列表命令:-lshadoop fs -ls /创建文件夹命令:-mkdirhadoop fs -mkdir /test
樟小叶_公众号同名
2 个月前
大数据
·
hdfs
大数据学习(一):HDFS
HDFS全称Hadoop Distributed File System,这名字一听就和hadoop分不开,甚至是hadoop的一部分。hdfs是一个分布式文件系统,在磁盘上面,非常底层,将海量数据分割成块并分散存储在集群的多个节点上,提供高容错性和扩展性。
火龙谷
2 个月前
hadoop
·
hdfs
·
npm
hadoop第3课(hdfs shell常用命令)
掌握这些 hadoop fs 命令是Hadoop开发与运维的基础,建议结合实践场景多操作演练。后续可深入学习HDFS架构与API开发技巧!
2302_79952574
2 个月前
大数据
·
hadoop
·
hdfs
【Hadoop】详解HDFS
Hadoop 分布式文件系统(HDFS)被设计成适合运行在通用硬件上的分布式文件系统,它是一个高度容错性的系统,适合部署在廉价的机器上,能够提供高吞吐量的数据访问,非常适合大规模数据集上的应用。为了做到可靠性,HDFS创建了多份数据块的副本,并将它们放置在服务器群的计算节点中,MapReduce 可以在它们所在的节点上处理这些数据。
小刘爱喇石( ˝ᗢ̈˝ )
2 个月前
大数据
·
hadoop
·
hdfs
hadoop框架与核心组件刨析(二)HDFS
目录一、元数据HDFS 元数据的主要内容HDFS 元数据的存储方式HDFS 元数据的管理HDFS 元数据的重要性
小技工丨
2 个月前
大数据
·
hadoop
·
hdfs
Hadoop之01:HDFS分布式文件系统
HDFS是Hadoop中的一个存储子模块HDFS (全称Hadoop Distributed File System),即hadoop的分布式文件系统
Dragon--Z
2 个月前
大数据
·
hdfs
·
mapreduce
·
yarn
本地YARN集群部署
请先完成HDFS的前置部署,部署方式可查看:本地部署HDFS集群https://blog.csdn.net/m0_73641796/article/details/145998092?spm=1001.2014.3001.5502