docker搭建ray集群

1. 安装docker 已安装过docker 没安装流程

启动 Docker 服务

bash 复制代码
sudo systemctl start docker
sudo systemctl enable docker   # 设置开机即启动docker

验证 Docker 是否安装成功

bash 复制代码
docker --version

2. 部署ray

sh 复制代码
# 先停止docker服务
systemctl stop docker   
# 编辑 Docker 的配置文件  更改docker 镜像保存的路径 以防默认目录存储空间不足
 vim /etc/docker/daemon.json
{
  "data-root": "/data/docker"  # 自己存储空间大的目录
}
# 再次启动docker服务 使上面的配置文件生效
systemctl start docker   
# 拉取镜像到本地
docker pull **镜像名称:版本** 
# 查看镜像
docker images
 # --network host参数 使docker环境共享宿主机IP
 # -v  参数使docker环境共享宿主机挂载目录
 # tail -f /dev/null 参数  挂起docker  使其不中断
docker run -d --name **docker环境名称 自命名即可** --network host -v /mnt1:/mnt1 -v /mnt2:/mnt2 -v /data:/data -v /mnt3:/mnt3 **镜像名称:版本** tail -f /dev/null
# 查看docker环境列表
docker ps
#进入docker环境  执行任务
docker exec -it **自命名的docker环境名称** /bin/bash 
# 退出docker环境
exit  
# 停止容器
docker stop ailab-data-pipelinev3   
 # 删除已停止的容器
docker rm ailab-data-pipelinev3    
# 查看ray版本   所有机器ray版本应保持一致  否则集群不能使用
ray --version
# head节点启动命令
ray start --head --port=6379 --dashboard-host=0.0.0.0 --dashboard-port=8265  --num-cpus 96
#每个work节点启动ray服务命令   请替换IP和--num-cpus数目 --num-cpus 可以是nproc的值
ray start --address='127.0.0.0:6379' --num-cpus 96    
ray start --address='127.0.0.0:6379' --num-cpus 32
# 提交任务命令
ray job submit --working-dir ./ray_code -- python3 ray.py
相关推荐
梁萌15 小时前
Linux安装BiliNote
linux·运维·服务器·docker·bilinote
行思理17 小时前
docker新手教程
运维·docker·容器
莫陌尛.20 小时前
docker安装中间件
docker·中间件·容器
tuokuac1 天前
虚拟机挂起,重启后主机连接不上虚拟机docker中的mysql?(docker网络状态假死)
网络·mysql·docker
集智飞行1 天前
docker login方法
运维·docker·容器
不开心就吐槽1 天前
docker-compose方式快速安装MySQL
运维·docker·容器
芥子沫1 天前
Docker安装思源笔记&使用指南
笔记·docker·容器·思源笔记
行思理1 天前
macos 下 docker使用方法 新手教程
macos·docker·容器
团儿.1 天前
Docker Swarm:打造高效、可扩展的容器编排引擎,引领微服务新纪元(上)
docker·微服务·容器·docker-swarm集群
small_white_robot1 天前
vulnerable_docker_containement 靶机
运维·网络·web安全·网络安全·docker·容器