hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

查看内存信息

查看本地磁盘的内存信息

复制代码
df -h

查看hdfs上根目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。

可以设置hdfs的最小块的大小 小于128MB。

每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

复制代码
hdfs dfs -rm -r /hbase/oldWALs/*
相关推荐
沐浴露z8 小时前
详解 MySQL 自适应哈希
数据库·mysql·哈希算法
小五Z8 小时前
MySQL--事务
数据库·mysql
小许学java8 小时前
MySQL存储过程
数据库·mysql·存储过程
Elias不吃糖9 小时前
MYSQL指令合集
数据库·mysql
!chen11 小时前
解决 Oracle 监听外网 IP
数据库·tcp/ip·oracle
LBuffer12 小时前
破解入门学习笔记题四十六
数据库·笔记·学习
chase。12 小时前
关于 nvidia-smi: no devices were found 解决方案
服务器·数据库·postgresql
几何心凉12 小时前
openGauss:多核时代企业级数据库的性能与高可用新标杆
前端·数据库·数据库开发
瑞思蕊萌13 小时前
redis实战篇--商品缓存模块
数据库·redis·缓存
AiXed14 小时前
PC微信协议之AES-192-GCM算法
前端·数据库·python