hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

查看内存信息

查看本地磁盘的内存信息

复制代码
df -h

查看hdfs上根目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。

可以设置hdfs的最小块的大小 小于128MB。

每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

复制代码
hdfs dfs -rm -r /hbase/oldWALs/*
相关推荐
ss2735 小时前
食谱推荐系统功能测试如何写?
java·数据库·spring boot·功能测试
l1t6 小时前
DeepSeek总结的数据库外部表
数据库
m0_674294646 小时前
如何编写SQL存储过程性能对比_记录执行时间评估优化效果
jvm·数据库·python
014-code6 小时前
CompletableFuture 实战模板(超时、组合、异常链处理)
java·数据库
运气好好的6 小时前
怎样开启phpMyAdmin的操作审计日志_记录每条执行的SQL
jvm·数据库·python
それども7 小时前
DELETE 和 TRUNCATE TABLE区别
java·数据库·mysql
wenha7 小时前
数据库隔离级别
数据库·mysql·sqlserver·隔离级别
2401_871492857 小时前
Layui如何修改Layui默认的UI主题颜色(换肤功能实现)
jvm·数据库·python
Edward111111117 小时前
4.27mysql ,数据库,数据源
数据库·mysql
小徐敲java7 小时前
踩坑实录:MySQL8.0 导入SQL报错 2006 - MySQL server has gone away 完美解决
数据库·sql