hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

查看内存信息

查看本地磁盘的内存信息

复制代码
df -h

查看hdfs上根目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。

可以设置hdfs的最小块的大小 小于128MB。

每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

复制代码
hdfs dfs -rm -r /hbase/oldWALs/*
相关推荐
专注&突破9 分钟前
DeepAgents 的 Backend详解
数据库
星火开发设计17 分钟前
序列式容器:list 双向链表的特性与用法
开发语言·前端·数据结构·数据库·c++·链表·list
Zzz 小生22 分钟前
LangChain Messages:消息使用完全指南
数据库·windows·microsoft
寂寞旅行9 小时前
向量数据库Milvus的使用
数据库·milvus
闻哥9 小时前
Redis事务详解
java·数据库·spring boot·redis·缓存·面试
道亦无名10 小时前
aiPbMgrSendAck
java·网络·数据库
面向对象World13 小时前
正点原子Mini Linux 4.3寸800x480触摸屏gt115x驱动
linux·服务器·数据库
dinga1985102613 小时前
mysql之联合索引
数据库·mysql
微风中的麦穗13 小时前
【SQL Server 2019】企业级数据库系统—数据库SQL Server 2019保姆级详细图文下载安装完全指南
大数据·数据库·sqlserver·云计算·个人开发·运维必备·sqlserver2019
zjttsh14 小时前
MySQL加减间隔时间函数DATE_ADD和DATE_SUB的详解
android·数据库·mysql