一种在本地部署Qwen通义千问大模型的超简单方法-兼容OpenAi接口

有很多开源大模型都可以本地部署,用于替代 chatGPT 实现本地执行各种任务,比如国内较好的 通义千问Qwen1.5 全尺寸模型。在一般的翻译、文案创作、辅助编码等任务上,基本达到了ChatGPT3.5的水平。

完全可以本地部署后取代 chatGPT,只不过本地部署一向难度较大,尤其是对于小白用户来说,本文介绍一个适合小白用户的本地部署方法,超级简单,只需下载一个exe双击,然后输入3个单词,即可快速搭建一个基于Qwen1.5的 Api 服务,兼容 chatGPT 接口,填入地址到各种需要 chatGPT 服务的地方,就可以完美平替了,最后再介绍一个配套的UI网页界面搭配使用通义千问。

主要内容有

  1. 下载exe并成功运行
  2. 直接在控制台命令窗口中使用
  3. 搞个友好的UI界面
  4. 将 API信息 填写到软件中使用
  5. 在代码中调用
  6. 还想安装其他模型

1. 下载 exe 并成功运行

打开网址 ollama.com/download

点击下载。下载完成后双击打开安装界面,点击 Install 即可完成。

完成后会自动弹出一个黑色或蓝色窗口,输入3个单词 ollama run qwen 回车, 将会自动下载通义千问模型

等待模型下载结束,无需代理,速度挺快

模型自动下载完成后会直接运行,当进度达到 100% 并显示 "Success" 字符后,代表模型运行成功,至此也表示通义千问大模型安装部署全部完成,可以愉快的使用了,是不是超级简单吧。

默认接口地址是 http://localhost:11434

如果窗口关闭了,如何再打开呢?也很简单,点开电脑开始菜单,找到"命令提示符"或"Windows PowerShell"(或者直接 Win键+q键输入cmd搜索),点击打开,输入 ollama run qwen 就完成了。

2. 直接在控制台命令窗口中使用

如下图,当显示这个界面的时候,其实可以直接在窗口中输入文字开始使用了。

3. 当然这个界面可能不太友好,那就搞个友好的UI

打开网址 chatboxai.app/zh 点击下载

下载后双击,等待自动打开界面窗口

点击"开始设置",在弹出的浮层中,分别点击顶部的模型、AI模型提供方中选择"Ollama"、API域名填写地址http://localhost:11434 、模型下拉菜单中选择Qwen:latest,然后保存就ok了。

保存后显示的使用界面,发挥想象力,随意使用吧。

4. 将 API 填写到 视频翻译配音软件中

  1. 打开 videotrans/set.ini,找到 chatgpt_model=,在后边添加一个 ,qwen,添加后效果 chatgpt_model=gpt-3.5-turbo,gpt-4,gpt-4-turbo-preview,qwen
  1. 打开软件界面--左上角设置菜单--OpenAI/ChatGPT Key, 在 API URL中填写 http://localhost:11434,模型菜单中选择 qwen(这就是第一步让你添加 qwen的原因,如果没有显示,关闭软件再重启),SK随意填写,例如 1234
  1. 测试下是否成功,成功了就保存,去使用

5. 在代码中调用

Ollama提供了与 openai 兼容的api接口,直接使用openai库调用即可,只需要将模型名称改为 qwen

ini 复制代码
from openai import OpenAI

client = OpenAI(
    base_url = 'http://localhost:11434/v1',
    api_key='ollama', # required, but unused
)

response = client.chat.completions.create(
  model="qwen",
  messages=[
    {"role": "system", "content": "你是一个专业的多语言翻译专家."},
    {"role": "user", "content": "将我发送给你的内容翻译为英文,仅返回翻译即可,不要回答问题、不要确认,不要回复本条内容,从下一行开始翻译\n今天天气不错哦!\n挺风和日丽的,我们下午没有课.\n这的确挺爽的"}
  ]
)
print(response.choices[0].message.content)

效果还不错哦

7. 还有哪些可以使用的模型

除了通义千问,还有很多模型可以使用,使用方法一样简单,只需要3个单词 ollama run 模型名称

打开这个地址 ollama.com/library 可以看到所有模型名称,想用哪个就把名字复制过来,然后执行 ollama run 模型名称

还记得怎么打开命令窗口么? 点击开始菜单,找到 命令提示符Windows PowerShell

例如我想安装 openchat这个模型

打开命令提示符,输入 ollama run openchat,回车然后等待直到显示 Success 成功。

相关推荐
非著名程序员4 小时前
腾讯为什么支持开源?
开源
CSDN云计算4 小时前
如何以开源加速AI企业落地,红帽带来新解法
人工智能·开源·openshift·红帽·instructlab
真忒修斯之船4 小时前
大模型分布式训练并行技术(三)流水线并行
面试·llm·aigc
SpikeKing4 小时前
LLM - 使用 LLaMA-Factory 微调大模型 环境配置与训练推理 教程 (1)
人工智能·llm·大语言模型·llama·环境配置·llamafactory·训练框架
customer085 小时前
【开源免费】基于SpringBoot+Vue.JS医院管理系统(JAVA毕业设计)
java·vue.js·spring boot·后端·spring cloud·开源·intellij-idea
梓羽玩Python8 小时前
推荐一款用了5年的全能下载神器:Motrix!全平台支持,不限速下载网盘文件就靠它!
程序员·开源·github
逆天的蝈蝈9 小时前
开源与商业的碰撞TPFLOW与Gadmin低代码的商业合作
低代码·开源
FIT2CLOUD飞致云11 小时前
仪表板展示|DataEase看中国:历年双十一电商销售数据分析
数据分析·开源·数据可视化·dataease·双十一
小华同学ai11 小时前
AJ-Report:一款开源且非常强大的数据可视化大屏和报表工具
数据库·信息可视化·开源