使用腾讯CNB构建Hadoop定制容器镜像

说明

使用腾讯CNB构建Apache Hadoop容器镜像,

文中文件在https://cnb.cool/zhudev-2025/apache-hadoop-dev

配置runner

runner是Apache Hadoop构建容器镜像的基础镜像。用runner构建最终的Hadoop容器镜像。

旧版与当前Hadoop官网使用的相同,可以参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base

新版是改造版,可参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/tree/main/base.new

对安全有要求,并且要求指定数据存储目录的,务必构建该容器镜像。

配置Hadoop

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/Dockerfile

注意,这是标准配置,是Hadoop提供的标准配置。只修改FROM部分为自己构建的runner镜像即可,也可使用Hadoop官方提供的,虽然已经很多漏洞和问题。

配置流水线触发文件

参考https://cnb.cool/zhudev-2025/apache-hadoop-dev/-/blob/main/.cnb.yml,这是重点,可以实现自动构建。

查看结果

在下图所示位置查看构建进展

查看容器镜像制品

相关推荐
Alluxio17 小时前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
喵个咪20 小时前
GoWind Admin 拆解:BI 大屏设计器——schema 即 JSON、resolver 注入与三张快照表的口径谱系
大数据·后端·go
武子康21 小时前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
字节跳动数据平台21 小时前
火山引擎知识引擎VeKnow进化之路(下):让 AI 智能体更可用、更可信、更懂业务
大数据
Elastic 中国社区官方博客1 天前
更少的位数,相同的召回率:DiskBBQ 更保守的自动校准扫描
大数据·运维·开发语言·人工智能·elasticsearch·搜索引擎
阿卡好可爱1 天前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
MyBili1 天前
Chrome隐私安全配置:完整防护指南
大数据·chrome·谷歌浏览器·隐私安全·浏览器防护·cookie管理·上网痕迹清理
真上帝的左手1 天前
19. 大数据-数据同步-工具
大数据·数据同步
数字孪生视频孪生1 天前
在线重构,实时同步:视频动态三维重建打造 “常更常新” 的数字底座
大数据·人工智能·重构·架构·空间计算
Aloudata1 天前
Claude 做数据分析的这两年:一份复盘与发展线索
大数据·数据库·人工智能·数据挖掘·数据分析·dataagent