ChatGPT本地部署,学习记录

一、GPT4ALL模型

官网地址:

Github:https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易,但是在运行体验上一般,并且是只调用CPU来进行运算。

看官方文档介绍在嵌入式上有比较大的优势,但是目前个人对嵌入式方向接触不深,仅在本机部署使用。

本机配置(CPU:i5-8400、显卡:1060、内存:8)

二、模型下载

链接:https://gpt4all.io/index.html

可以自行选择不同的model类型,都有相对应的介绍,然后直接下载即可。

model使用相关文档链接:https://docs.gpt4all.io/index.html

三、使用过程

安装第三方库:pip install gpt4all

运行如下代码

python 复制代码
from gpt4all import GPT4All
model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)

使用上述代码,既可在命令行和模型连续沟通,但是体验感不佳(可能是因为我自己电脑配置的原因。。 )

也可以安装界面版,相关信息github自行获取。

将陆续更新其他的模型本地部署(问就是GPT4ALL不是很好用... )

相关推荐
叼烟扛炮13 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain
个 人 练 习 生13 小时前
C++:从零基础到深入了解vector的使用
开发语言·c++·经验分享·学习·程序人生·stl
Rabitebla14 小时前
【Linux操作系统】 文件篇(一):文件描述符与 Linux 文件管理机制
linux·网络·c++·笔记·学习
旖旎夜光17 小时前
【C++ 基础入门】智能指针:RAII、unique_ptr 与 shared_ptr 循环引用
c++·笔记·学习·智能指针
zdr尽职尽责19 小时前
终端工具凭空消失:Codex + GPT-6 的一次完整排障复盘
数据库·gpt·学习·ai
蒸蒸yyyyzwd21 小时前
计算机网络后端面试错题
笔记·学习
艾莉丝努力练剑1 天前
【AI大模型接入SDK】C++的SessionManager 线程安全
java·开发语言·前端·c++·人工智能·学习·安全
蒸蒸yyyyzwd1 天前
数据库相关错题笔记
笔记·学习
蒸蒸yyyyzwd1 天前
后端学习笔记,设计模式相关以及微服务相关
笔记·学习
Hhy_11071 天前
《C++深度解构07》手撕 vector —— 从底层三指针架构到迭代器失效彻底吃透
c语言·开发语言·c++·学习·visual studio