k8s兼容昆仑芯p800

主机xpu-smi

K8S device

节点资源

Notebook


推理服务


镜像:ccr.ccs.tencentyun.com/cube-studio/xtrtllm_ubuntu_2004_x86_64_deepseek-v3:v20

挂载目录:kubeflow-user-workspace(pvc):/mnt,/mnt/model(hostpath):/workspace

/mnt/model内容在文件夹model中

启动命令:

source /home/pt201/bin/activate && export LD_LIBRARY_PATH=/usr/local/xpu/so:$LD_LIBRARY_PATH && bash /workspace/deepseek_server/run_server.sh /workspace/DeepSeek-R1-tokenizer /workspace/DeepSeek-R1-0528-BF16-engine r1

测试

相关推荐
king13598745507 分钟前
LFM2.5-24B-A2B Mac 本地部署:内存估算、GGUF/MLX 与 Python 预检脚本
人工智能·macos
DeeGLMath14 分钟前
optimtool最新版加速训练分类任务
人工智能·分类·数据挖掘
在所不辞兄15 分钟前
为什么神经网络对对抗扰动和分布偏移往往比较脆弱,而人类感知相对更鲁棒?
人工智能·深度学习·神经网络·机器学习
考拉讲支付16 分钟前
母婴亲子服务平台分账架构设计:多场景多方分账与合规清结算实践
大数据·运维·人工智能·微信小程序·架构·微信公众平台
xier_ran24 分钟前
【infra之路】AI 编译器学习笔记(十三):AI 编译器全景——TVM、XLA、IREE 与其他
人工智能·笔记·学习
用户8371332007631 分钟前
感觉终于把复杂的 RAG 技术整理明白了
人工智能·llm
今年下半年37 分钟前
AI智能体项目实战记录(06):RAG项目实战之文件上传及文档读取解析
人工智能·rag·文档解析
什么嘻嘻果冻39 分钟前
无代码开发平台的技术架构,恐象 AI 的生成引擎拆解
大数据·人工智能·低代码
解决问题no解决代码问题41 分钟前
Java金融后端转LLM应用开发 Day1:初识生成式AI与大模型本质
人工智能