分离Hadoop客户端单独使用

有很多时候,会遇到在非节点服务器上调用hadoop命令需求,考虑到尽量不增加集群负载,比如在一个节点上运行一个常驻服务提供接口,此时就可以那hadoop面向使用需要的资源拉出来作为一个单独的客户端使用,也就是下图中的这些文件夹

但是!!!!!!!客户端拿出来之后,一定要注意一个相当关键的问题,不要让执行客户端的服务器持有集群的ssh公钥串,正常执行hadoop fs等命令时,不涉及节点直接的交互,但如果你没有其他反制措施,比如改了客户端的源码加校验这种,则一旦对方持有了ssh串就会通过Linux的身份校验,说白了别人从官网下载一个完整包,在持有一个同名用户,拿着你的ssh串,替换你的配置文件就能操作你的集群了,很危险的事情这是。所以分离客户端这个事情,技术上能做,如果你没有专业的引擎开发人员尽量不要做

如果确实需要,则在谨慎保护公钥串的前提下,关闭集群管理用户的ssh登录以及密码登录,改成强制使用认证登录

bash 复制代码
/etc/ssh/sshd_config
PermitRootLogin no              # 禁止 root 直接登录,开启后无法 ssh root@server_ip
PasswordAuthentication no       # 禁用密码认证
PubkeyAuthentication yes        # 启用公钥认证
AllowUsers admin hdfs yarn      # 只允许特定用户白名单方式ssh节点,需要开启公钥认证

其他需要格外注意的,还有RMUI上任务的kill按钮,这个在源码里面注释掉,发个版就行了

bash 复制代码
hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-common/src/main/java/org/apache/hadoop/yarn/server/webapp/AppBlock.java
相关推荐
千月落3 分钟前
HDFS数据迁移
大数据·hadoop·hdfs
N串21 分钟前
2.4 采购部门——权力来自信息不对称
大数据
南棱笑笑生31 分钟前
20260503给万象奥科的开发板HD-RK3576-PI适配瑞芯微原厂的Android14时适配AP6256
大数据·elasticsearch·搜索引擎·rockchip
王莎莎-MinerU1 小时前
从 PDF 到知识资产:MinerU 文档解析如何成为企业 RAG 系统的“数据基石”
大数据·人工智能·pdf·个人开发
biyezuopinvip1 小时前
分布式风电场低电压穿越故障建模与仿真
分布式·matlab·毕业设计·毕业论文·分布式风电场·低电压穿越故障·建模与仿真
苍煜1 小时前
SpringBoot单体应用到分布式下的数据库锁、事务、Redis事务、分布式锁、分布式事务协调
数据库·spring boot·分布式
缝艺智研社1 小时前
誉财 YC - 21 平板下摆机:服装下摆与袖口加工的卓越之选
大数据·人工智能·自动化·电脑·新人首发·线上模板机
fengxin_rou1 小时前
黑马点评项目万字总结:从redis基础到实战应用详解
java·开发语言·分布式·后端·黑马点评
逸Y 仙X1 小时前
文章二十:Elasticsearch高亮搜索完全指南
java·大数据·运维·elasticsearch·搜索引擎·全文检索
2601_956139421 小时前
集团品牌全案公司哪家专业
大数据·人工智能·python