使用腾讯CNB构建Hadoop定制容器镜像

说明

使用腾讯CNB构建Apache Hadoop容器镜像,

文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev

配置runner

runner是Apache Hadoop构建容器镜像的基础镜像。用runner构建最终的Hadoop容器镜像。

旧版与当前Hadoop官网使用的相同,可以参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base

新版是改造版,可参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base.new

对安全有要求,并且要求指定数据存储目录的,务必构建该容器镜像。

配置Hadoop

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/Dockerfile

注意,这是标准配置,是Hadoop提供的标准配置。只修改FROM部分为自己构建的runner镜像即可,也可使用Hadoop官方提供的,虽然已经很多漏洞和问题。

配置流水线触发文件

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/.cnb.yml,这是重点,可以实现自动构建。

查看结果

在下图所示位置查看构建进展

查看容器镜像制品

相关推荐
ha_lydms19 分钟前
MaxCompute中JSON函数
大数据·数据库·阿里云·json·dataworks·maxcompute·odps
H0311169851 小时前
移动应用数据分析平台信息整理:月狐数据、七麦数据、蝉大师
大数据·人工智能
小宋10211 小时前
Jev 不是另一个聊天模型:Choice、Score、Boolean 与概率决策完整实战
大数据·人工智能
灯澜忆梦1 小时前
【RabbitMQ #13】 | 延迟消息
分布式·rabbitmq·ruby
数字化顾问1 小时前
(136页PPT)BCGIDG资本中国某省市场Geneva项目商业尽职调查项目报告(附下载方式)
大数据·人工智能
故七月1 小时前
GEO 工程实践:企业官网结构化改造,提升大模型实体采信度
大数据·人工智能·geo
青山木2 小时前
秒杀系统设计(二):数据正确性——防超卖、分布式锁与一人一单
分布式·后端·mysql·中间件·架构
MiYi124062 小时前
2026 企业 AI 办公工具选型指南:从需求分析到任务交付的完整评估框架
大数据·人工智能
IT研究室2 小时前
最新大数据毕业设计选题推荐-基于大数据的全球地震数据分析与可视化-大数据-Spark-Hadoop-Bigdata
大数据·信息可视化·数据分析·spark·课程设计
data analyse 4562 小时前
数据合规的第三方SDK清单怎么管理?
大数据·人工智能