千问模型本地部署

重点:python环境python3.10.14

大模型下载网站: ModelScope 魔搭社区

随便找一个模型页:

https://www.modelscope.cn/models/Qwen/Qwen3-0.6B

下载模型:

例子

运行报错与修复

缺少环境,安装torch modelscope transformers

pip install torch modelscope transformers -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install accelerate -i https://mirrors.tencent.com/pypi/simple

正确运行:

相关推荐
一个王同学8 小时前
从零到一 | CV转多模态大模型 | week17 | LLM 推理优化 & vLLM 详解
人工智能·深度学习·算法·机器学习·计算机视觉·vllm
逻辑君11 小时前
认知神经科学研究报告【20260111】
人工智能·深度学习·机器学习·量子计算
Hello-FPGA13 小时前
GPU与图像采集卡编程实战 eGrabber + CUDA 图像采集:三种内存模式技术解析
人工智能·深度学习·计算机视觉
阳明山水14 小时前
从论文到生产:销量预测系统的工程化落地实践
大数据·人工智能·深度学习·机器学习·架构
Token炼金师14 小时前
范式跃迁:从标注囚徒到自监督信徒 —— 大模型时代的机器学习重写
人工智能·深度学习·llm
EQUINOX115 小时前
【论文阅读】| Swin-Transformer精读
论文阅读·深度学习·transformer
FriendshipT15 小时前
Ultralytics:解读PSA模块
人工智能·pytorch·python·深度学习·目标检测
CoderIsArt16 小时前
使用深度学习方法进行纺织品和颜色缺陷检测
人工智能·深度学习
湘美书院--湘美谈教育16 小时前
湘美谈教育湘美书院绥宁文学系列:AI时代的小说,雪峰号
大数据·人工智能·深度学习·机器学习·生活