hbase读写操作后hdfs内存占用太大的问题

hbase读写操作后hdfs内存占用太大的问题

查看内存信息

查看本地磁盘的内存信息

复制代码
df -h

查看hdfs上根目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /

查看hdfs上/hbase目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase

查看hdfs上/hbase/oldWALs目录下各个文件的内存大小

复制代码
hdfs dfs -du -h /hbase/oldWALs

hbase读写操作

每一个hbase的读写操作日志都会占358MB的内存,内存占用很大。

可以设置hdfs的最小块的大小 小于128MB。

每次操作完hbase后记得删除这里的文件。

在/opt/software/ 下面可以多放写大文件。当内存不够使可以删除一些。因为hadoop在文件读写时内存不够使,会进入安全模式,因为没有读写完,手动退出安全模式后依然会再次进入安全模式,会很麻烦。这时可以先删一些之前存的大文件等内存资源充足后,hadoop的读写操作完后,解除安全模式后,才能删除/hbase/oldWALs 下面的文件。

复制代码
hdfs dfs -rm -r /hbase/oldWALs/*
相关推荐
全栈胖叔叔-瓜州11 分钟前
关于微软最新数据库引擎sqlserver2025 关于向量距离函数调用的问题
数据库·microsoft
全栈小514 分钟前
【Rust】从0到1开发和运行Web相关功能,并简单实现数据库连接和查询
数据库·rust
墨辰JC37 分钟前
基于STM32标准库的FreeRTOS移植与任务创建
数据库·stm32·嵌入式硬件·freertos
R.lin39 分钟前
MongoDB知识点与技巧总结
数据库·mongodb
幽水-椰子糖42 分钟前
达梦守护搭建
数据库·达梦
q***3751 小时前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
王小小鸭2 小时前
【Oracle APEX开发小技巧17】交互式网格操作按钮根据条件/状态设置能否被点击生效
数据库·oracle·oracle apex
lang201509282 小时前
oracle 11查询数据库锁
数据库·oracle
hweiyu002 小时前
Oracle 基础入门:核心概念与实操指南(视频教程)
数据库·oracle
羊锦磊2 小时前
[ 项目开发 1.0 ] 新闻网站的开发流程和注意事项
java·数据库·spring boot·redis·spring·oracle·json