k8s兼容昆仑芯p800

主机xpu-smi

K8S device

节点资源

Notebook


推理服务


镜像:ccr.ccs.tencentyun.com/cube-studio/xtrtllm_ubuntu_2004_x86_64_deepseek-v3:v20

挂载目录:kubeflow-user-workspace(pvc):/mnt,/mnt/model(hostpath):/workspace

/mnt/model内容在文件夹model中

启动命令:

source /home/pt201/bin/activate && export LD_LIBRARY_PATH=/usr/local/xpu/so:$LD_LIBRARY_PATH && bash /workspace/deepseek_server/run_server.sh /workspace/DeepSeek-R1-tokenizer /workspace/DeepSeek-R1-0528-BF16-engine r1

测试

相关推荐
AI_小站2 小时前
6个GitHub爆火的免费大模型教程,助你快速进阶AI编程
人工智能·langchain·github·知识图谱·agent·llama·rag
xindoo2 小时前
GitHub Trending霸榜!深度解析AI Coding辅助神器 Superpowers
人工智能·github
时间之里2 小时前
【深度学习】:RF-DETR与yolo对比
人工智能·深度学习·yolo
北京阿法龙科技有限公司2 小时前
数智化升级:AR 智能眼镜驱动工业运维效能革新
人工智能
风落无尘2 小时前
《智能重生:从垃圾堆到AI工程师》——第二章 概率与生存
大数据·人工智能
wapicn992 小时前
微服务架构下的数据核验设计,API接入最佳实践
微服务·云原生·架构
j_xxx404_2 小时前
Linux:静态链接与动态链接深度解析
linux·运维·服务器·c++·人工智能
收获不止数据库3 小时前
达梦9发布会归来:AI 时代,我们需要一款什么样的数据库?
数据库·人工智能·ai·语言模型·数据分析
hhb_6183 小时前
AI全栈编程生存指南
人工智能
AI-Frontiers3 小时前
transformer进阶之路:#2 工作原理详解
人工智能·深度学习·transformer