安装部署大语言模型 | 通义千问

下载安装

进入ollama的仓库下载 「 qwen 7b 」

libraryGet up and running with large language models.https://ollama.com/library查找阿里的 「 qwen 」

根据自己的电脑配置情况,选择合适的模型

总体来说,模型是越大,效果越好,但是对电脑的配置要求也越高

  • 4b 模型要 3GB内存
  • 7b 模型要 8GB 内存
  • 13b 模型要 16GB 内存
  • 70b 模型要 64GB 内存

特别注意:你如果要用于商业用途,需要申请授权,否则只能用于个人学习

千问许可说明:

qwen:latest/licenseGet up and running with large language models.https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f

申请商用授权:灵积模型服务https://dashscope.console.aliyun.com/openModelApply/qianwen

复制qwen 7b下载命令

复制代码
ollama pull qwen:7b

7b的模型有4.5GB,我们只需等待安装

安装完成,随便问他几个问题

测试API请求

Mac/Linux下执行

java 复制代码
curl 'http://localhost:11434/api/chat' \
--data '{
    "model": "qwen:7b",
    "messages": [
        {
            "role": "user",
            "content": "你是谁"
        }
    ],
    "temperature": 0.1,
    "stream": false
}'

Windows下执行:

java 复制代码
curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"

测试结果

相关推荐
洛阳泰山7 分钟前
Spring AI 源码解析:Tool Calling链路调用流程及示例
数据库·人工智能·spring·spring ai
YuSun_WK2 小时前
torch.matmul() VS torch.einsum()
人工智能·pytorch·深度学习
数据小吏3 小时前
第十五章:数据治理之数据目录:摸清家底,建立三大数据目录
大数据·数据库·人工智能
许泽宇的技术分享4 小时前
【AI实战】从“苦AI”到“爽AI”:Magentic-UI 把“人类-多智能体协作”玩明白了!
人工智能·ui
马拉AI5 小时前
创新点!贝叶斯优化、CNN与LSTM结合,实现更准预测、更快效率、更高性能!
人工智能·深度学习·机器学习
kovlistudio6 小时前
机器学习第二十七讲:Kaggle → 参加机器学习界的奥林匹克
人工智能·机器学习
bennybi6 小时前
AI方案调研与实践二:模型训练
人工智能·ai·sft·rag
MarkHD6 小时前
第十天 高精地图与定位(SLAM、RTK技术) 多传感器融合(Kalman滤波、深度学习)
人工智能·深度学习
是麟渊7 小时前
【大模型面试每日一题】Day 27:自注意力机制中Q/K/V矩阵的作用与缩放因子原理
人工智能·线性代数·自然语言处理·面试·职场和发展·架构
mozun20207 小时前
弱小目标检测任务中的YOLO、LSTM和Transformer三种模型对比2025.5.24
人工智能·yolo·目标检测·计算机视觉