技术栈
scnet
skywalk8163
8 天前
人工智能
·
vllm
·
scnet
·
deepseek-coder
SCNet 双DCU异构卡vllm推理部署DeepSeek-Coder-V2-Lite-Instruct
前面已经测试过了qwen 32b和Qwen3-30B-A3B两个模型的VLLM推理部署，并在Auto-Coder中进行试用。现在开始在SCNet的DCU环境中，尝试vllm推理部署DeepSeek-Coder-V2-Lite-Instruct
花花少年
1 年前
llama-factory
·
llama3
·
scnet
·
dcu
·
国产异构加速卡
快速体验LLaMA-Factory 私有化部署和高效微调Llama3模型（曙光超算互联网平台异构加速卡DCU）
本文以 LLaMA-Factory 为例，在超算互联网平台SCNet上使用异构加速卡AI 显存64GB PCIE，私有化部署Llama3模型，并对 Llama3-8B-Instruct 模型进行 LoRA 微调、推理和合并。
花花少年
1 年前
scnet
·
dcu
·
国产异构加速卡
·
曙光超算
·
超算互联网平台
曙光超算互联网平台SCNet之国产异构加速卡DCU
超算互联网平台异构加速卡AI 显存64GB PCIE光合社区遇到包冲突时，可使用 pip install --no-deps -e . 解决。
我是有底线的