hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

查看内存信息

查看本地磁盘的内存信息

复制代码
df -h

查看hdfs上根目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。

可以设置hdfs的最小块的大小 小于128MB。

每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

复制代码
hdfs dfs -rm -r /hbase/oldWALs/*
相关推荐
泡沫·1 小时前
5.MariaDB数据库管理
数据库·mariadb
i***51261 小时前
【数据库】MySQL的安装与卸载
数据库·mysql·adb
数白1 小时前
Oracle 数据迁移最佳实践(不使用第三方工具)
数据库·oracle
周杰伦fans1 小时前
C# 中的**享元工厂**模式
开发语言·数据库·c#
空空kkk1 小时前
SpringMVC——拦截器
java·数据库·spring·拦截器
J***51682 小时前
MySql中的事务、MySql事务详解、MySql隔离级别
数据库·mysql·adb
SelectDB2 小时前
Apache Doris 中的 Data Trait:性能提速 2 倍的秘密武器
数据库·后端·apache
i***27952 小时前
Spring boot 3.3.1 官方文档 中文
java·数据库·spring boot
TDengine (老段)2 小时前
TDengine 日期函数 DATE 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
q***65693 小时前
PostgreSQL 中进行数据导入和导出
大数据·数据库·postgresql