hdfs

昨夜花落尽

sqoop导入hdfs,hivesqoop将mysql中的表导入到hdfs中将数据导入hive中，首先要在hive中创建目标表然后导入

好记性＋烂笔头

hbase读写操作后hdfs内存占用太大的问题查看本地磁盘的内存信息查看hdfs上根目录下各个文件的内存大小查看hdfs上/hbase目录下各个文件的内存大小

难以触及的高度

Hadoop删除HDFS文件在 Hadoop 的命令行工具中，`hadoop fs -rm` 命令用于删除 HDFS（Hadoop Distributed File System）中的文件或目录。`-r` 和 `-f` 是该命令的两个不同选项，它们各自有不同的功能和行为。

NiFi-从部署到开发（图文详解）Apache NiFi 是一款强大的开源数据集成工具，旨在简化数据流的管理、传输和自动化。它提供了直观的用户界面和可视化工具，使用户能够轻松设计、控制和监控复杂的数据流程，NiFi 具备强大的扩展性和可靠性，可用于处理海量数据，并且能很好地应对复杂的数据转换需求，还可以设置定时调度任务

hdfs-site.xml在修改正确后运行hadoop-daemon.sh start zkfc时，仍然无法自动选举namenode的bug解决方法在确保namenode机器的hdfs-site.xml正确地配置并分发后，需要将所有服务关闭，留下zookeeper，做

解锁 MinIO 的强大功能MinIO 是一个高性能的对象存储解决方案，完全开源，采用 Go 语言编写，专为存储非结构化数据（如图片、视频、备份数据等）而设计。它的目标是提供与 Amazon S3 兼容的对象存储 API，让开发者在本地或云端环境中实现灵活的对象存储部署。

Flume——sink（每5秒记录写入HDFS）spooldir-logger-hdfs01.conf 配置文件内部具体的参数可以参考上面的两张表格使用spooldir进行source设置，监控目录下新产生的文件输出端的sink则连接至hdfs，以每5秒频率产生一个文件夹，同时flume会将日志写入到此文件夹中。（当监控的source没有产生变化时，不会有events输出，因此不会产生文件）

李昊哲小课

scala 编写 hdfs 工具类scala 创建删除 hdfs 文件或目录 scala 上传下载 hdfs 文件 scala 读取写入 hdfs 文件

HDFS 操作命令

Hbase整合Mapreduce案例2 hbase数据下载至hdfs中——wordcount和案例1的结构差不多，Hbase移动到开头，后面跟随MR程序。因此对于输入的K1 V1会进行一定的修改

Hbase整合Mapreduce案例1 hdfs数据上传至hbase中——wordcountdata.txthdfsHbase shell包含hbase和hdfs的依赖文件程序主类，和原有的Mapreduce相比逻辑上没有多大的区别不过原有的mr程序调用的reduce接口的实现类现在调用的则是TableReducer接口的实现类

Hadoop分布式文件系统(二)大多数HDFS Shell命令的行为和对应的Unix Shell命令类似，主要不同之处是HDFS Shell命令操作的是远程Hadoop服务器的文件，而Unix Shell命令操作的是本地文件。

【大数据学习 | 面经】HDFS的三副本机制和编码机制hdfs的三副本机制是其核心特性之一，旨在确保数据的高可用性和容错性。通过将每个文件的数据块复制三个副本，并分散存储在不同的DateNode上，hdfs能够在节点故障的时候提供数据冗余和持续访问的能力。

sqoop import抽取数据到hdfs乱码问题sqoop import抽取数据到hdfs乱码问题查源表数据：查询目标表数据: 排查过程： 1.通过sqoop eval查询数据正常Sqoop_query “select car_owner ,replace(car_owner,‘|’,‘’) as car_owner0 from tpkhrew.rew_policy limit 2"-----------------------------------------------| car_owner | car_owner0 |------------

dbeaver如何批量执行sql脚本场景:需要对数据库中的表做批量操作,需要加载多个sql文件,并批量执行 1.创建链接文件或链接文件夹(把脚本加载到dbeaver对应的目录下)

在下不上天

Sqoop的安装和配置，Sqoop的数据导入导出，MySQL对hdfs数据的操作sqoop的安装基础是hive和mysql，没有安装好的同学建议去看一看博主的这一篇文章Hive的部署，远程模式搭建，centos换源，linux上下载mysql。_hive-4.0.1-CSDN博客

Hadoop分布式文件系统(一)——HDFS简介1.错误检测和快速、自动的恢复。 2.支持大文件存储和访问。 3.保证数据的一致性。 4.移动计算，而不是移动数据。 5.异构软硬件平台间可移植。

在下不上天

flume-将日志采集到hdfs是的你应该去把集群打开，启动集群在虚拟机hadoop02和hadoop03上的conf目录下配置相同的日志采集方案，‘

大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理与当前总结目前开始更新 MyBatis，一起深入浅出！上节我们完成了如下的内容：续接上节，上节到了内建函数。自定义UDF处理JSON串中的数组，自定义UDF函数：

Hive分桶超详细！！！数据分区可能导致有些分区,数据过多，有些分区,数据极少。分桶是将数据集分解为若干部分(数据文件)的另一种技术。