自定义LSF服务管理

自定义LSF服务管理

背景

传统的LSF服务管理是通过命令行操作的,而且需要如下多个命令:

  • 启动LSF服务

lsadmin limstartup

lsadmin resstartup

badmin hstartup

  • 停止LSF服务

badmin hshutdown

lsadmin resshutdown

lsadmin limshutdown

可见管理很不方便。后续又引入了单条命令来管理LSF服务:

  • 启动LSF服务

lsf_daemons start

  • 停止LSF服务

lsf_daemons stop

相对来讲简化了操作,但并不符合操作系统的服务管理规范。因此又引入了 lsfd.service 服务,可以通过 systemctl 服务管理工具来管理LSF服务。

问题

LSF服务由三个服务进程组成,分别是LIM、RES、SBD;在实践中发现lsfd.service并不能有效地管理这三个服务,如果其中的一个服务掉线后并不能自动拉起。 为了解决这个问题,在最新的LSF 10.1.14 pack中在保留原有lsfd.service的基础上又引入三个服务,分别管理LIM、RES和SBD服务进程,这样LSF的服务项达到了四个之多。感觉增加了管理的复杂度。

解决方案

我们可以通过自定义LSF服务的方法简化管理。方法是在服务进程中定时查看LIM、RES和SBD服务进程,如果发现有进程掉线就及时拉起服务。 以下是示例:

  1. lsfd.service 示例
bash 复制代码
[Unit]
Description=IBM Spectrum LSF
After=remote-fs.target network.target nfs.service autofs.service gpfs.service nscd.service

[Service]
Type=simple
ExecStartPre=/bin/bash -c '(timer=12; while (( $timer )); do if [ ! -d "/lsf/10.1/linux3.10-glibc2.17-x86_64/etc" ]; then sleep 5; else exit 0; fi; timer=$[$timer-1]; done; echo "/lsf/10.1/linux3.10-glibc2.17-x86_64/etc not found." 1>&2; exit 1;)'
ExecStart=/lsf/10.1/linux3.10-glibc2.17-x86_64/etc/lsfwatchdog.sh start
ExecStop=/lsf/10.1/linux3.10-glibc2.17-x86_64/etc/lsfwatchdog.sh stop
KillMode=none
LimitMEMLOCK=infinity
Delegate=yes

[Install]
WantedBy=multi-user.target
  1. lsfwatchdog.sh 示例
bash 复制代码
#!/bin/bash

function checkLSFService() {
    .  /lsf/conf/profile.lsf
    logfile="/lsf/log/watchdog.`hostname`.log"
    services_num=$( ps -lf -u root |egrep "$LSF_SERVERDIR/sbatchd|$LSF_SERVERDIR/lim|$LSF_SERVERDIR/res"|grep -v grep |wc -l )
    [ $services_num -lt 3 ] && {
        date >> $logfile
        echo "LSF services is missing." >> $logfile
        ps -lf -u root |egrep "$LSF_SERVERDIR/sbatchd|$LSF_SERVERDIR/lim|$LSF_SERVERDIR/res"|grep -v grep  >> $logfile
        echo "Start LSF services." >> $logfile
        /lsf/10.1/linux3.10-glibc2.17-x86_64/etc/lsf_daemons start
        echo "LSF Service started" >> $logfile
        ps -lf -u root |egrep "$LSF_SERVERDIR/sbatchd|$LSF_SERVERDIR/lim|$LSF_SERVERDIR/res"|grep -v grep  >> $logfile
    }
}

function start() {
   (
    while true
    do
        checkLSFService
        sleep 60
    done
   ) &
}

function stop() {
    .  /lsf/conf/profile.lsf
   /lsf/10.1/linux3.10-glibc2.17-x86_64/etc/lsf_daemons stop
   pkill lsfwatchdog.sh
}

case $1 in
"start")
    start
    ;;
"stop")
    stop
    ;;
esac

结论

在 LSF 10.1.12 集群中经测试,目前运行良好,掉线的服务可以被及时拉起。 同时,在系统运维操作需要停止服务时也能迅速停止服务。

相关推荐
无足鸟ICT9 小时前
【RHCA+】安装Tuned
linux·服务器·centos
测试界的小码农13 小时前
【Linux 命令实战(06):Linux 文件权限管理,掌握 chmod、chown、chgrp】
linux·运维·服务器
一条破秋裤15 小时前
【1114】【并发控制】【笔记】
linux
2035去旅行17 小时前
ADB的底层原理
linux·adb·嵌入式·arm·soc
武子康17 小时前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习
女神下凡17 小时前
芯参谋(107):杰理AC_中科蓝讯_开发指南
linux·服务器·网络·单片机·嵌入式硬件
落羽的落羽17 小时前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习
爱和冰阔落21 小时前
【Linux网络】TCP 半包粘包怎么解决?从长度报头、JSON 拆包到网络计算器完整实战
linux·运维·网络·tcp/ip
say_fall1 天前
【Linux网络编程】UDP套接字编程:系统编程组件、基础回显服务、InetAddr与地址转换、翻译服务与线程池聊天室
linux·服务器·网络·udp·vr
ö Constancy1 天前
一台电脑的硬件组成与作用:按功能分类详解(Windows 与 Linux 视角)
linux·windows·电脑