一种在本地部署Qwen通义千问大模型的超简单方法-兼容OpenAi接口

有很多开源大模型都可以本地部署,用于替代 chatGPT 实现本地执行各种任务,比如国内较好的 通义千问Qwen1.5 全尺寸模型。在一般的翻译、文案创作、辅助编码等任务上,基本达到了ChatGPT3.5的水平。

完全可以本地部署后取代 chatGPT,只不过本地部署一向难度较大,尤其是对于小白用户来说,本文介绍一个适合小白用户的本地部署方法,超级简单,只需下载一个exe双击,然后输入3个单词,即可快速搭建一个基于Qwen1.5的 Api 服务,兼容 chatGPT 接口,填入地址到各种需要 chatGPT 服务的地方,就可以完美平替了,最后再介绍一个配套的UI网页界面搭配使用通义千问。

主要内容有

  1. 下载exe并成功运行
  2. 直接在控制台命令窗口中使用
  3. 搞个友好的UI界面
  4. 将 API信息 填写到软件中使用
  5. 在代码中调用
  6. 还想安装其他模型

1. 下载 exe 并成功运行

打开网址 ollama.com/download

点击下载。下载完成后双击打开安装界面,点击 Install 即可完成。

完成后会自动弹出一个黑色或蓝色窗口,输入3个单词 ollama run qwen 回车, 将会自动下载通义千问模型

等待模型下载结束,无需代理,速度挺快

模型自动下载完成后会直接运行,当进度达到 100% 并显示 "Success" 字符后,代表模型运行成功,至此也表示通义千问大模型安装部署全部完成,可以愉快的使用了,是不是超级简单吧。

默认接口地址是 http://localhost:11434

如果窗口关闭了,如何再打开呢?也很简单,点开电脑开始菜单,找到"命令提示符"或"Windows PowerShell"(或者直接 Win键+q键输入cmd搜索),点击打开,输入 ollama run qwen 就完成了。

2. 直接在控制台命令窗口中使用

如下图,当显示这个界面的时候,其实可以直接在窗口中输入文字开始使用了。

3. 当然这个界面可能不太友好,那就搞个友好的UI

打开网址 chatboxai.app/zh 点击下载

下载后双击,等待自动打开界面窗口

点击"开始设置",在弹出的浮层中,分别点击顶部的模型、AI模型提供方中选择"Ollama"、API域名填写地址http://localhost:11434 、模型下拉菜单中选择Qwen:latest,然后保存就ok了。

保存后显示的使用界面,发挥想象力,随意使用吧。

4. 将 API 填写到 视频翻译配音软件中

  1. 打开 videotrans/set.ini,找到 chatgpt_model=,在后边添加一个 ,qwen,添加后效果 chatgpt_model=gpt-3.5-turbo,gpt-4,gpt-4-turbo-preview,qwen
  1. 打开软件界面--左上角设置菜单--OpenAI/ChatGPT Key, 在 API URL中填写 http://localhost:11434,模型菜单中选择 qwen(这就是第一步让你添加 qwen的原因,如果没有显示,关闭软件再重启),SK随意填写,例如 1234
  1. 测试下是否成功,成功了就保存,去使用

5. 在代码中调用

Ollama提供了与 openai 兼容的api接口,直接使用openai库调用即可,只需要将模型名称改为 qwen

ini 复制代码
from openai import OpenAI

client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
)

response = client.chat.completions.create(
  model="qwen",
  messages=[
    {"role": "system", "content": "你是一个专业的多语言翻译专家."},
    {"role": "user", "content": "将我发送给你的内容翻译为英文,仅返回翻译即可,不要回答问题、不要确认,不要回复本条内容,从下一行开始翻译\n今天天气不错哦!\n挺风和日丽的,我们下午没有课.\n这的确挺爽的"}
  ]
)
print(response.choices[0].message.content)

效果还不错哦

7. 还有哪些可以使用的模型

除了通义千问,还有很多模型可以使用,使用方法一样简单,只需要3个单词 ollama run 模型名称

打开这个地址 ollama.com/library 可以看到所有模型名称,想用哪个就把名字复制过来,然后执行 ollama run 模型名称

还记得怎么打开命令窗口么? 点击开始菜单,找到 命令提示符Windows PowerShell

例如我想安装 openchat这个模型

打开命令提示符,输入 ollama run openchat,回车然后等待直到显示 Success 成功。

相关推荐
数字化营销工兵8 小时前
大语言模型(LLM)安全:十大风险、影响和防御措施
llm·大语言模型·数据安全·隐私保护
gz7seven17 小时前
BLIP-2模型的详解与思考
大模型·llm·多模态·blip·多模态大模型·blip-2·q-former
lsjweiyi1 天前
极简AI工具箱网站开源啦!
opencv·开源·微信支付·支付宝支付·百度ai·极简ai工具箱·ai图像处理
不爱说话郭德纲1 天前
探索LLM前沿,共话科技未来
人工智能·算法·llm
开源社1 天前
一场开源视角的AI会议即将在南京举办
人工智能·开源
FreeIPCC1 天前
谈一下开源生态对 AI人工智能大模型的促进作用
大数据·人工智能·机器人·开源
海害嗨1 天前
阿里巴巴官方「SpringCloudAlibaba全彩学习手册」限时开源!
学习·开源
生命是有光的1 天前
【开源风云】从若依系列脚手架汲取编程之道(八)
开源
HuggingFace1 天前
Halo 正式开源: 使用可穿戴设备进行开源健康追踪
开源·健康追踪
我爱学Python!1 天前
解决复杂查询难题:如何通过 Self-querying Prompting 提高 RAG 系统效率?
人工智能·程序人生·自然语言处理·大模型·llm·大语言模型·rag