调度系统部署架构是什么样的呢?

简单示例一个部署架构图,如下所示:

📘 各组件说明:

✅ 服务器端组件(控制节点)
  • Slurm :slurmctld(主控调度器),slurmdbd(数据库服务)
  • PBS Pro :pbs_server(主控服务),pbs_sched(调度器)
  • LSF :mbatchd(主控调度器),lsadmin(管理工具)
✅ 客户端组件(计算节点)
  • Slurm :slurmd(守护进程,接收并执行任务)
  • PBS Pro :pbs_mom(任务管理器)
  • LSF :res 和 sbatchd(资源和作业守护进程)
✅ 共享存储系统
  • 所有节点通过网络挂载统一的文件系统,用于读写作业数据。

✅ 主控服务和调度器是否部署在同一台服务器?

情况一:小型或中型集群

  • 主控服务(如 pbs_server、slurmctld) 和 调度器(如 pbs_sched、slurmdbd) 通常部署在同一台服务器上。
  • 优点:
    • 简化部署和维护;
    • 节省硬件资源;
    • 网络通信延迟低。

情况二:大型或高可用集群

  • 主控服务和调度器可以部署在不同的服务器 上,甚至采用冗余部署(如主备模式)。
  • 例如:
    • Slurm 支持将 slurmctld 和 slurmdbd 分开部署;
    • PBS Pro 可以将 pbs_server 和 pbs_sched 分离,提高调度性能;
    • LSF 支持多级调度架构,调度器可以分布式部署。
集群规模 是否分离部署主控与调度器 推荐做法
小型(<50节点) ❌ 不分离 同一台服务器部署即可
中型(50--500) ✅ 可选分离 根据负载决定是否分离
大型(>500) ✅ 建议分离 提高性能与可维护性
高可用需求 ✅ 建议主备部署 增加容错能力
相关推荐
ouynagda4 分钟前
嵌入式Linux i.MX6ULL系统移植学习笔记
linux·笔记·学习
Mikko77 分钟前
JVM 线上排查实战(六):JFR 怎么用?JDK 8 要不要加 UnlockCommercialFeatures、jfr 命令在哪、录的文件为什么读不了
java·运维·jvm·后端
NightReader8 分钟前
PVE 环境部署
linux
蚰蜒螟15 分钟前
一次挂载的完整旅程:Linux 内核 VFS 到 ext4 的调用链剖析
linux·运维·服务器
害人终害己16 分钟前
Redis 日志:AUTH 认证信息
运维·服务器
a努力。30 分钟前
Context-State-Memory三重信息架构揭秘
java·服务器·前端
天蓝蓝的本我32 分钟前
linux本地部署Qwen3.8 27B
linux·运维·excel
n112121 小时前
服务器被反复尝试登录之后:fail2ban 加密钥登录的五道加固
运维·服务器·服务器安全·fail2ban·ssh加固
洋不写bug1 小时前
网络编程(二)TCP回显服务器与客户端通信详解
服务器·网络·tcp/ip·tcp·网络通信·javaee·回显服务器
java_logo1 小时前
Docker 部署 DeepSeek Harness:轻松搭建局域网里的 AI Agent 平台
运维·docker·容器·ai agent·deepseek·轩辕镜像·deepseekharness