k8s兼容昆仑芯p800

主机xpu-smi

K8S device

节点资源

Notebook


推理服务


镜像:ccr.ccs.tencentyun.com/cube-studio/xtrtllm_ubuntu_2004_x86_64_deepseek-v3:v20

挂载目录:kubeflow-user-workspace(pvc):/mnt,/mnt/model(hostpath):/workspace

/mnt/model内容在文件夹model中

启动命令:

source /home/pt201/bin/activate && export LD_LIBRARY_PATH=/usr/local/xpu/so:$LD_LIBRARY_PATH && bash /workspace/deepseek_server/run_server.sh /workspace/DeepSeek-R1-tokenizer /workspace/DeepSeek-R1-0528-BF16-engine r1

测试

相关推荐
皮卡丘不断更1 分钟前
手搓本地 RAG:我用 Python 和 Spring Boot 给 AI 装上了“实时代码监控”
人工智能·spring boot·python·ai编程
浪子小院12 分钟前
ModelEngine 智能体全流程开发实战:从 0 到 1 搭建多协作办公助手
大数据·人工智能
程序员打怪兽15 分钟前
详解YOLOv8网络结构
人工智能·深度学习
Yuer202515 分钟前
全国首例“AI 幻觉”侵权案判了:这不是 AI 准不准的问题,而是谁该为 AI 负责
人工智能·edca os·可控ai
一切尽在,你来31 分钟前
1.1 AI大模型应用开发和Langchain的关系
人工智能·langchain
ShiLiu_mtx34 分钟前
k8s - 7
云原生·容器·kubernetes
Coder_Boy_38 分钟前
基于Spring AI的分布式在线考试系统-事件处理架构实现方案
人工智能·spring boot·分布式·spring
Light601 小时前
智链未来:彭山物流园区从物理基建到数据智能体的全维度构建方案
人工智能·系统架构·数字孪生·智慧物流·实施路径·彭山项目
AI资源库1 小时前
GLM-4.7-Flash模型深入解析
人工智能·语言模型
一切尽在,你来1 小时前
1.2 LangChain 1.2.7 版本核心特性与升级点
人工智能·langchain