【不需要网络/不需要显卡】本地部署GPT

大家好,我是老 J

我们都知道ChatGPT目前只有两种使用方式,一种是直接去官网访问,适合个人用户;另一种是API调用,适合企业或者网站使用。这两种方式的门槛都比较高,不仅对网络有要求而且需要海外手机号。

那么有没有门槛很低的使用方式呢?今天我来介绍一种方法,这种方式不需要海外手机号、不需要网络环境,甚至不需要网络!直接把ChatGPT部署到本地!

01项目介绍

GPT4All是一个开源的本地运行的GPT模型,它不需要网络,只借助硬件来实现,而且对硬件要求不高,就算你的电脑没有显卡也可以使用CPU运行。

网址如下,官网提供三种系统的客户端

gpt4all.io/index.html

02项目安装&运行

下载好对应版本的安装包之后就可以安装了,安装步骤非常简单,选择安装路径,其他选项默认即可,如下图。

点击上图chat.exe运行。图中1处为选择模型,2处为设置。

下面会详细介绍选择模型,这里我们先修改下客户端的配置。下图1可以选择运行模型的硬件,如果你的电脑有独立显卡,这里优先选择显卡,如果没有显卡的话使用CPU即可。下图2表示模型存放的位置,我们下面下载好模型之后存放到这个目录下客户端就会自动识别!

03模型介绍&演示

把官网拉到最下面会发现有很多已经训练好的模型。这里的每个模型都有介绍和硬件要求(运行内存大小),这里我比较推荐mistral模型和wizardlm模型,mistral模型比较通用,wizardlm模型可以输出很长的内容并且由北京大学参与训练,所以对中文支持更好!

我们把模型下载好之后就可以放到上一步提到的目录下了,然后刷新页面就可以加载模型了。

下面是对模型的测试。我分别提问了世界百科知识、让Ai作诗、理解文档内容、写代码。测试图如下。

可以看出来,回答的效果还是很不错的!大家可以根据上面的步骤来本地部署自己的GPT了!

更多文章干货,推荐公众号【程序员老J】

相关推荐
猪猪拆迁队1 小时前
虚拟工厂仿真引擎的架构设计:让一条产线可编程、可观测、可干预
后端·ai编程
字节跳动数据库1 小时前
文章分享——相似函数处理方法
人工智能·后端·程序员
Bigfish_coding1 小时前
前端转agent-【python】-12 LangChain 入门实战:RAG + LCEL 链式调用
人工智能
云技纵横1 小时前
@Transactional 失效的 7 种场景:第 5 种最难排查
后端
用户6757049885022 小时前
你知道 Go 结构体和结构体指针调用的区别吗?一文带你彻底搞懂!
后端·go
程序员cxuan2 小时前
读懂 Claude Code 架构分析系列,第一篇,开始!
人工智能·后端·架构
用户6757049885022 小时前
面试官问“装饰器模式”,这样回答薪资多要 3000!
后端
tntxia2 小时前
Geo Scene域名修改引起的一些问题
后端
用户298698530142 小时前
Java 实现 Word 文档加密与权限解除
java·后端
饼干哥哥2 小时前
扣子3.0测评:我让 Codex 和 Claude Code 住同一个桌面,结果它们打架了!
人工智能·开源·代码规范