hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

查看内存信息

查看本地磁盘的内存信息

df -h

查看hdfs上根目录下各个文件的内存大小

hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。

可以设置hdfs的最小块的大小 小于128MB。

每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

hdfs dfs -rm -r /hbase/oldWALs/*
相关推荐
master-dragon4 分钟前
实际项目中的一个OOM和事务的问题
数据库
SEO-狼术2 小时前
Design interfaces that prioritize Crack
数据库
04Koi.2 小时前
Redis--高并发分布式结构
数据库·redis·分布式
james东2 小时前
Redis中的Big key排查和解决思路
数据库·redis·缓存
G丶AEOM2 小时前
Redis Sentinel(哨兵) 和 Redis Cluster(集群)
数据库·redis·缓存
你疯了抱抱我2 小时前
【自用】管材流转项目 数据库恢复之 PIPE 表 && 二维码相关 && 各个表恢复 SQL
数据库
zhlh_xt3 小时前
Python 助力 DBA:高效批量管理数据库服务器的多线程解决方案-多库查询汇总工具实现
数据库·python·sqlserver·dba·dba 自动化工具
shaoweijava3 小时前
私人诊所管理系统(源码+数据库+报告)
java·开发语言·数据库·spring boot·mysql·mybatis
很楠不爱4 小时前
MySQL——连接
数据库·mysql