cube studio开源一站式机器学习平台:k3s部署cube-studio

全栈工程师开发手册 (作者:栾鹏)

一站式云原生机器学习平台


前言

开源地址:https://github.com/tencentmusic/cube-studio

cube studio 腾讯开源的国内最热门的一站式机器学习mlops/大模型训练平台,支持多租户,sso单点登录,支持在线镜像调试,在线ide开发,数据集管理,图文音标注和自动化标注,任务模板自定义,拖拉拽任务流,模型分布式多机多卡训练,超参搜索,模型管理,推理服务弹性伸缩,支持ml/tf/pytorch/onnx/tensorrt/llm模型0代码服务发布,以及配套资源监控和算力,存储资源管理。支持机器学习,深度学习,大模型 开发训练推理发布全链路。支持元数据管理,维表,指标,sqllab,数据etl等数据中台对接功能。支持多集群,边缘集群,serverless集群方式部署。支持计量计费,资源额度限制,支持vgpu,rdma,国产gpu,arm64架构。

aihub模型市场:支持AI hub模型市场,支持400+开源模型应用一键开发,一键微调,一键部署。

gpt大模型:支持40+开源大模型部署一键部署,支持ray,volcano,spark等分布式计算框架,支持tf,pytorch,mxnet,mpi,paddle,mindspre分布式多机多卡训练框架,支持deepspeed,colossalai,horovod分布式加速框架,支持llama chatglm baichuan qwen系列大模型微调。支持llama-factory 100+llm微调,支持大模型vllm推理加速,支持智能体私有知识库,智能机器人。

master节点

bash 复制代码
# 关闭防火墙
systemctl stop firewalld && systemctl disable firewalld && iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
# 下载部署脚本
git clone -b v1.24.7+k3s1 https://github.com/k3s-io/k3s.git
cd k3s
# 设置版本
export INSTALL_K3S_VERSION=v1.24.7+k3s1
# 设置k8s部署配置
#export INSTALL_K3S_EXEC="--system-default-registry registry.cn-hangzhou.aliyuncs.com --write-kubeconfig ~/.kube/config --disable=traefik --cluster-cidr  10.72.0.0/16 --service-cidr  10.73.0.0/16"
export INSTALL_K3S_EXEC="--system-default-registry registry.cn-hangzhou.aliyuncs.com --write-kubeconfig ~/.kube/config --disable=traefik"
# 设置使用国内源
export INSTALL_K3S_MIRROR=cn
# 设置强制下载
export INSTALL_K3S_SYMLINK=force
#export INSTALL_K3S_FORCE_RESTART=true
# 设置镜像url
export INSTALL_K3S_MIRROR_URL=${INSTALL_K3S_MIRROR_URL:-'rancher-mirror.rancher.cn'}
# 替换github和storage 国内可以链接到的网络
export GITHUB_URL=https://githubfast.com/k3s-io/k3s/releases
export STORAGE_URL=https://k3s-ci-builds.s3.amazonaws.com
sed -i 's|^GITHUB_URL=.*|GITHUB_URL=https://githubfast.com/k3s-io/k3s/releases|' install.sh
sed -i 's|^STORAGE_URL=.*|STORAGE_URL=https://k3s-ci-builds.s3.amazonaws.com|' install.sh
# 部署
sh install.sh

# 打印master的token
cat /var/lib/rancher/k3s/server/node-token

# 设置 containerd 的 mirror
cat > /etc/rancher/k3s/registries.yaml <<EOF
mirrors:
  docker.io:
    endpoint:
      - "http://hub-mirror.c.163.com"
      - "https://docker.mirrors.ustc.edu.cn"
      - "https://registry.docker-cn.com"
EOF

worker节点

单机部署的话,不需要添加worker节点

bash 复制代码
systemctl stop firewalld && systemctl disable firewalld && iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
git clone -b v1.24.7+k3s1 https://github.com/k3s-io/k3s.git
cd k3s
export INSTALL_K3S_VERSION=v1.24.7
export K3S_URL=https://myserver:6443
export K3S_TOKEN=XXX
sh install.sh

配置 Containerd

非必须,可以使用docker

K3s会在/var/1ib/rancher/k3s/agent/etc/containerd/config.toml 中为containerd 生成 confg.toml。

如果要对这个文件进行高级定制,你可以在同一目录中创建另一个名为 config.tom1.tmp1 的文件,此文件将会代替默认设置。config.toml.tmp1是一个Go模板文件,并且 (config:Nde 结构会被传递给模板。有关如何使用该结构自定义配置文件的 Linux和Windows 示例,请参阅此文件夹。conhg.Node golang结构定义在这里。

部署cube-studio

部署完k3s,就可以按照单机部署cube-studio来部署cube-studio了

将k8s集群的kubeconfig文件复制到install/kubernetes/config文件中,然后执行如下命令,其中xx.xx.xx.xx为机器内网的ip(不是外网ip)

bash 复制代码
# 在k8s worker机器上执行
sh start.sh xx.xx.xx.xx

清理

bash 复制代码
/usr/local/bin/k3s-killall.sh
/usr/local/bin/k3s-uninstall.sh

重启

bash 复制代码
sudo systemctl stop k3s
sudo systemctl start k3s
sudo systemctl stop k3s-agent
sudo systemctl start k3s-agent
相关推荐
酷柚易汛智推官3 分钟前
三大调度方案深度对比:AI/超算/大数据场景如何选?
大数据·人工智能
dawnsky.liu4 分钟前
RHEL - 在离线的 RHEL 10 中部署 Lightspeed 命令行助手
linux·人工智能·ai
野熊佩骑10 分钟前
CentOS二进制安装包方式部署K8S集群之系统初始化
运维·docker·微服务·云原生·容器·kubernetes·centos
海鸥_11 分钟前
深度学习调试记录
人工智能·深度学习
小闫BI设源码18 分钟前
Kubernetes 集群高可用
云原生·容器·kubernetes·滚动更新·operator模式·helm包管理·ci/cd集成
搞科研的小刘选手21 分钟前
【学术会议合集】2025-2026年地球科学/遥感方向会议征稿信息
大数据·前端·人工智能·自动化·制造·地球科学·遥感测绘
lingliang42 分钟前
机器学习之三大学习范式:监督学习、无监督学习、强化学习
人工智能·学习·机器学习
没有口袋啦1 小时前
《决策树、随机森林与模型调优》
人工智能·算法·决策树·随机森林·机器学习
计育韬1 小时前
计育韬:基于AI的数据可视化设计入门工作流
人工智能·信息可视化·新媒体运营·微信公众平台
倔强青铜三1 小时前
苦练Python第58天:filecmp模块——文件和目录“找不同”的利器
人工智能·python·面试