上下文
最近公司需要调研类似 EMCHub 这样支持算力共享的服务。第一直觉是使用 K8S 或 K3S,作为 CNCF 孵化的顶级项目,同时也是当前云原生生态使用最广的编排系统。但是在学习 EMC Hub 源码过程中,偶然发现它是基于 Nomad 做的集群管理。
相比之下,Nomad 更加轻量级,支持的编排能力也更全面。最优秀的是,体积只有 40 多兆,能很方便的集成到各种业务环境中。
Nomad 简介
Nomad 是一款基于开源,功能强大的调度程序和集群编排引擎。可以轻松管理从单机到大规模集群的各种容器和非容器化应用程序,实现快速部署和跨平台运行。
Nomad 主要特点
- 作为单个二进制文件运行,资源占用少,
- 支持将资源管理和调度集成到一个单独的系统中,
- 支持多种驱动程序运行 job,包括 Windows、Java、VM、Docker 等,
- 支持分布式和高可用,
- 支持多数据中心,可以跨数据中心调度,
- 强大的可伸缩性,可在现实生产环境中扩展到10K+节点的集群(K8S v1.29 是 5k+ ),
- 支持插件功能,可与 Terraform、Consul、Vault 无缝集成,用于提供资源调配、服务发现和秘密管理。
Nomad 部署
我们还是以 Docker 环境进行介绍
安装 Docker
shell
# 1. 下载 Docker Desktop 并安装
# 下载地址:https://docs.docker.com/desktop/install/mac-install/
# 2.验证 Docker
sudo docker version
配置 Nomad
选择项目目录 nomad-bootcamp,下载 Nomad 二进制文件,并选择适合你系统的安装包。
我们采用 Mac 环境和二进制文件的方式使用。其他安装方式见:developer.hashicorp.com/nomad/insta...
shell
# 项目目录
mkdir example_03 && cd example_03
# 下载安装包
curl -O 'https://releases.hashicorp.com/nomad/1.7.6/nomad_1.7.6_darwin_arm64.zip'
# 解压安装包
unzip nomad_1.7.6_darwin_arm64.zip && rm -rf nomad_1.7.6_darwin_arm64.zip
# 验证安装包
./nomad --version
# 输出版本信息
#
# Nomad v1.7.6
# BuildDate 2024-03-12T07:27:36Z
# Revision 594fedbfbc4f0e532b65e8a69b28ff9403eb822e
启动 Nomad
Nomad 一般可分为三部分:Server、Client和Job,他们之间的关系是Server 将 Job 调度到 Client 进行执行。
Nomad 根据 .hcl 文件的配置执行,以下是我们生成的一个 Server 和 Client 的启动配置文件。
shell
# data_dir 为绝对路径
data_dir = "/Users/xxx/nomad-bootcamp/example_03/data"
bind_addr = "0.0.0.0"
server {
enabled = "true"
bootstrap_expect = 1
}
client {
enabled = "true"
servers = ["0.0.0.0"]
}
其他配置编写见:developer.hashicorp.com/nomad/docs/...
加载配置文件,启动 Server 和 Client 节点。
shell
./nomad agent -config nomad.hcl
使用 WebUI
官方支持了一款简洁的 UI 界面,访问http://127.0.0.1:4646/ui
,即可进入我们的 WebUI 管理界面
以下我们尝试通过 WebUI 运行一个 Job,具体是:点击 Jobs
-> Run Job
Run Job
包含上传配置文件和使用模版配置两种方式,我们选择模版方式运行
从 templates 中选择 Hello World 模版并且执行它
等待部署完成
之后 点击 Allocations
-> 选中具体任务
,就可以找到系统为 Job 分配的 IP 和端口号
点击链接,即可访问得到你部署的服务内容
以上就是本期的全部内容,主要演示通过 Nomad 配置文件启动集群和通过 UI 进行 Job 任务的执行。笔者荒生
,一名资深的技术开发,谢谢大家的观看,点赞、评论、加关注
你的支持就是笔者的动力,有问题也可以私信笔者
或留言询问
。