ChatGPT本地部署,学习记录

一、GPT4ALL模型

官网地址:

Github:https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易,但是在运行体验上一般,并且是只调用CPU来进行运算。

看官方文档介绍在嵌入式上有比较大的优势,但是目前个人对嵌入式方向接触不深,仅在本机部署使用。

本机配置(CPU:i5-8400、显卡:1060、内存:8)

二、模型下载

链接:https://gpt4all.io/index.html

可以自行选择不同的model类型,都有相对应的介绍,然后直接下载即可。

model使用相关文档链接:https://docs.gpt4all.io/index.html

三、使用过程

安装第三方库:pip install gpt4all

运行如下代码

python 复制代码
from gpt4all import GPT4All
model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)

使用上述代码,既可在命令行和模型连续沟通,但是体验感不佳(可能是因为我自己电脑配置的原因。。 )

也可以安装界面版,相关信息github自行获取。

将陆续更新其他的模型本地部署(问就是GPT4ALL不是很好用... )

相关推荐
西西西仓鼠6 小时前
python学习打卡:DAY 40 训练和测试的规范写法
学习
Magnetic_h7 小时前
【iOS】方法与消息底层分析
笔记·学习·macos·ios·objective-c·cocoa
今天背单词了吗9807 小时前
算法学习笔记:19.牛顿迭代法——从原理到实战,涵盖 LeetCode 与考研 408 例题
笔记·学习·算法·牛顿迭代法
DKPT8 小时前
Java设计模式之行为型模式(观察者模式)介绍与说明
java·笔记·学习·观察者模式·设计模式
future14129 小时前
C#进阶学习日记
数据结构·学习
lxsy10 小时前
spring-ai-alibaba 1.0.0.2 学习(十六)——多模态
人工智能·学习·ai-alibaba
xian_wwq11 小时前
【学习笔记】Nginx常用安全配置
笔记·学习·nginx
2301_7976042411 小时前
学习记录:DAY36
学习
love-self-discipline12 小时前
带货视频评论洞察 Baseline 学习笔记 (Datawhale Al夏令营)
人工智能·笔记·学习
蜡笔小电芯13 小时前
【STM32】const 变量存储学习笔记
笔记·stm32·学习