安装部署大语言模型 | 通义千问

下载安装

进入ollama的仓库下载 「 qwen 7b 」

libraryGet up and running with large language models.https://ollama.com/library查找阿里的 「 qwen 」

根据自己的电脑配置情况,选择合适的模型

总体来说,模型是越大,效果越好,但是对电脑的配置要求也越高

  • 4b 模型要 3GB内存
  • 7b 模型要 8GB 内存
  • 13b 模型要 16GB 内存
  • 70b 模型要 64GB 内存

特别注意:你如果要用于商业用途,需要申请授权,否则只能用于个人学习

千问许可说明:

qwen:latest/licenseGet up and running with large language models.https://ollama.com/library/qwen:latest/blobs/41c2cf8c272f

申请商用授权:灵积模型服务https://dashscope.console.aliyun.com/openModelApply/qianwen

复制qwen 7b下载命令

复制代码
ollama pull qwen:7b

7b的模型有4.5GB,我们只需等待安装

安装完成,随便问他几个问题

测试API请求

Mac/Linux下执行

java 复制代码
curl 'http://localhost:11434/api/chat' \
--data '{
    "model": "qwen:7b",
    "messages": [
        {
            "role": "user",
            "content": "你是谁"
        }
    ],
    "temperature": 0.1,
    "stream": false
}'

Windows下执行:

java 复制代码
curl "http://localhost:11434/api/chat" ^
--data "{""model"": ""qwen:7b"", ""messages"": [{""role"": ""user"", ""content"": ""你是谁""}], ""temperature"": 0.1, ""stream"": false}"

测试结果

相关推荐
陈苏同学1 小时前
[论文梳理] 足式机器人规划&控制流程 - 接触&碰撞的控制 - 模型误差 - 自动驾驶车的安全&合规(4个课堂讨论问题)
人工智能·安全·机器学习·机器人·自动驾驶·汽车
jndingxin1 小时前
OpenCV 图形API(74)图像与通道拼接函数-----合并三个单通道图像(GMat)为一个多通道图像的函数merge3()
人工智能·opencv
大霸王龙1 小时前
智能检索革命全景透视——基于《搜索引擎信息检索困境破解体系》深度拆解
人工智能·python·搜索引擎·语言模型·自然语言处理
Jamence2 小时前
多模态大语言模型arxiv论文略读(四十八)
人工智能·语言模型·自然语言处理
羊小猪~~2 小时前
深度学习基础--目标检测入门简介
网络·人工智能·深度学习·神经网络·yolo·目标检测·计算机视觉
__Benco3 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(完),内核编码规范
人工智能·harmonyos
黑客笔记3 小时前
机器学习在Web攻击方向有什么建树吗?
人工智能·机器学习
R²AIN SUITE3 小时前
✨从噪声到奇迹:扩散模型如何“想象“出世界
人工智能·ai·ai绘画
cnbestec3 小时前
Weiss Robotics的WPG与WSG系列紧凑型机器人夹爪,精准、灵活、高效
人工智能·机器人·weiss·伺服电爪·机器人电爪
黑夜路人4 小时前
AI辅助编程IDE和编程大模型排序推荐
ide·人工智能