测试环境搭建整套大数据系统(十六:超级大文件处理遇到的问题)

一:yarn出现损坏的nodemanger

报错现象

日志:1/1 local-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/data/nm-local-dir : used space above threshold of 90.0% ] ; 1/1 log-dirs usable space is below configured utilization percentage/no more usable space [ /opt/hadoop-3.2.4/logs/userlogs : used space above threshold of 90.0% ]

问题解析

yarn在启动服务的时候,需要加载文件资源到本地目录,目前显示本地目录资源使用百分之九十,没有办法在继续写入。

解决方案

  1. 在路径下增加磁盘资源
  2. 重新定位新的目录
bash 复制代码
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/nodemanagerlog</value>
</property>
<property>
  <name>yarn.nodemanager.log-dirs</name>
  <value>/data/log_dirs</value>
</property>

二:yarn资源配置

三个节点

内存 64g,80g,80g

核数 16,20,20

增加yarn资源调整参数

每个节点的参数可以设置不同

bash 复制代码
<!-- 这台服务器可以提供给yarn的核数 -->
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>20</value>
</property>
<!-- 这台服务器可以提供给yarn的内存 -->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>61440</value>
</property>

<!-- 容器可以配置的最小内存 -->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1024</value>
</property>
<!-- 容器可以配置的最大内存 -->
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>60000</value>
</property>
<!-- 容器可以配置的最大核数 -->
<property>
<name>yarn.scheduler.maximum-allocation-vcores</name>
<value>40</value>
</property>
bash 复制代码
/opt/flink-1.13.6/bin/flink run -m yarn-cluster -ys 20  -yjm 60000  -ytm 60000 -d -c com.shds.platform.cyberspace.CyberspaceParseJob /root/collection-cyberspace-1.0-SNAPSHOT.jar 

三:插入hbase出现反压

报错信息

org,apache.hadoop.hbase.client,AsyncRequestFutureImplexception=org.apache,hadoop.hbase.RegionTooBusyException: org.apache,hadoop.hbase,RegionTooBusvException: Over memstore limit=512.8 M

报错原因

问题出现在刷盘的时候,当menstore满了的时候,会将数据存储到hfile。当插入的时候是不能写入的。所以导致了这个问题。

解决方案

很多方案,最笼统的直接增加regionserver的资源大小进行重启。

bash 复制代码
vim hbase-env.sh
bash 复制代码
export HBASE_REGIONSERVER_OPTS="-Xms4G -Xmx8G"
相关推荐
深蓝易网5 小时前
3C电子企业柔性制造转型:如何通过MES管理系统实现快速换线与弹性生产?
大数据·运维·人工智能·重构·制造
IT毕设梦工厂6 小时前
大数据毕业设计选题推荐-基于大数据的全国饮品门店数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
亚林瓜子7 小时前
AWS中的离线计算(大数据大屏项目)
大数据·hadoop·sql·spark·云计算·aws
武子康7 小时前
大数据-110 Flink 安装与部署指南 支持 Local/Standalone/YARN 的多种模式
大数据·后端·flink
zskj_qcxjqr7 小时前
数字大健康崛起:艾灸机器人重构就业生态,传统与科技如何共生?
大数据·人工智能·科技·机器人
IT研究室8 小时前
大数据毕业设计选题推荐-基于大数据的青光眼数据可视化分析系统-大数据-Spark-Hadoop-Bigdata
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
建群新人小猿9 小时前
客户标签自动管理:标签自动化运营,画像持久保鲜
android·java·大数据·前端·git
TDengine (老段)12 小时前
TDengine 时序函数 IRATE 用户手册
大数据·数据库·物联网·时序数据库·iot·tdengine
TDengine (老段)12 小时前
TDengine 时序函数 CSUM 用户手册
大数据·数据库·sql·物联网·时序数据库·iot·tdengine
京东零售技术14 小时前
京东零售胡浩:智能供应链从运筹到大模型到超级智能体的演进
大数据·人工智能