简单两步实现离线部署ChatGPT,ChatGPT平替版,无需GPU离线搭建ChatGPT

文末附主程序安装包和大模型参数文件~
演示效果如下图所示:

一、使用方法

软件主要分为两个部分:GPT4ALL软件主体(主程序)+模型参数(离线模型),如果使用API Key的话则不需要下载模型参数。

可以从官网下载主程序安装包或者直接使用小编准备好安装包进行主程序安装(软件官网也在最后的链接中)。

1、主程序安装

以Windows为例,双击安装程序正常执行主程序安装即可,大概需要200MB左右的磁盘空间。

安装完成后,第一次进入主程序界面会出现两个隐私选项,为了保证个人隐私的安全,建议都选择【No】。

2、模型下载

选择完隐私选项后,大概率会自动弹出一个窗口,让我们选择一个模型进行下载,其中有红色字体的的模型表示不推荐下载,大概率是因为内存不满足模型运行的最低要求。这里最小的模型为GPT4ALL Falcon,该模型包含70亿参数,只需要8GB的可支配运行内存即可。

【注】:可支配内存为8G往往需要电脑的实际内存大于8G,总内存为8G的电脑可支配内存通常不足8G(维持操作系统运行要用掉一部分)。

别着急点击下载,据小编测试,使用国内网络大概率不能下载成功,并且直接在软件内部下载会有极大可能下载几MB后卡住不动,所以小编推荐在官网下载模型参数(官网地址见链接中文本文件),然后手动导入(GPT4ALL Falcon模型小编已经下载好放在最后的链接里了,大家下载后直接导入即可)。

官网下载模型方法:在官网下拉找到【Model Explorer】,从下拉框找到需要下载的模型然后点击右下角的下载按钮即可下载,推荐使用迅雷等下载软件下载,否则很可能下载到一半因链接中断需要重新下载。

模型文件的后缀名为【.bin】,将模型文件下载下来后,我们在主程序中点击【设置】按钮。

进入设置界面后,点击【Application】,在【Download path】按钮旁边有一个【Browse】按钮,用于选择模型默认下载路径,点击该按钮,然后选择模型文件所在的路径作为默认下载路径。

一般来说经过上述设置,主程序就可以自动识别模型,需要注意的是,尽量不要在模型存放路径中出现中文,否则很可能会在加载模型时出现类似下面这样的错误提示。

建议直接在D盘根目录创建一个名为【Model】的文件夹作为模型默认下载路径,然后直接将模型文件放在这个文件夹即可。

如此一来,就可以使用这款本地GPT为你完成一些简单的工作啦,经过小编测试,该离线版GPT响应速度还可以(和CPU性能有关,设置中可以调整线程数,线程数越多,使用的CPU资源越多,模型响应速度越快),并且具备编写代码的功能,可惜仅支持英文沟通,当你用中文描述问题时,模型会表示无法理解你的问题。

二、下载链接

见评论区

相关推荐
大龄牛码1 分钟前
AI大模型在金融领域的垂直应用实践:从信息检索到自动化报告
人工智能·金融·自动化
新知图书5 分钟前
多模态智能体开发的核心挑战与解决方案
人工智能·agent·多模态·ai agent·智能体·langgraph
ACP广源盛139246256736 分钟前
GSV2231@ACP# 增强型 8K MST 多屏扩展芯片
大数据·人工智能·分布式·嵌入式硬件
`流年づ16 分钟前
人工智能学习笔记-Transformer
人工智能·深度学习·transformer
Wanderer X23 分钟前
【ML】rope
人工智能
nVisual25 分钟前
nVisual:AI驱动的智能排障,平均响应时间缩短40%
android·人工智能·缓存
白日做梦Q26 分钟前
PyTorch从零手写CNN实现NEU钢材表面缺陷检测(完整实战·单篇完结)
人工智能·pytorch·cnn
星马梦缘31 分钟前
机器学习与模式识别 第十一章 优化于梯度下降 考点压缩
人工智能·机器学习·梯度下降·hessian·条件数
想会飞的蒲公英34 分钟前
TF-IDF + 随机森林中文文本分类全链路实战:从训练脚本到 Flask API + Streamlit 前端
人工智能·pytorch·python·随机森林·分类·flask·tf-idf
AI服务老曹39 分钟前
摄像机安装AI视频分析参数配置说明:POC现场交付全流程指南
人工智能·音视频