ChatGPT本地部署,学习记录

一、GPT4ALL模型

官网地址:

Github:https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易,但是在运行体验上一般,并且是只调用CPU来进行运算。

看官方文档介绍在嵌入式上有比较大的优势,但是目前个人对嵌入式方向接触不深,仅在本机部署使用。

本机配置(CPU:i5-8400、显卡:1060、内存:8)

二、模型下载

链接:https://gpt4all.io/index.html

可以自行选择不同的model类型,都有相对应的介绍,然后直接下载即可。

model使用相关文档链接:https://docs.gpt4all.io/index.html

三、使用过程

安装第三方库:pip install gpt4all

运行如下代码

python 复制代码
from gpt4all import GPT4All
model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)

使用上述代码,既可在命令行和模型连续沟通,但是体验感不佳(可能是因为我自己电脑配置的原因。。 )

也可以安装界面版,相关信息github自行获取。

将陆续更新其他的模型本地部署(问就是GPT4ALL不是很好用... )

相关推荐
瑞克-桑切斯15 小时前
Kubernetes 1.28 保姆级新手学习教程
运维·学习·docker·云原生·容器·kubernetes
kaixin_啊啊18 小时前
【三种鲑科鱼类比较基因组学分析鉴定出参与细胞内寄生菌鲑立克次体抗性的功能候选基因】论文学习
学习
CappuccinoRose20 小时前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
qingwufeiyang_53021 小时前
Docker学习笔记2
笔记·学习
Z21-X1 天前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
Century_Dragon1 天前
把高压回路“看透” 新能源汽车动力系统拆装与检测实训MR软件
学习
电科_银尘2 天前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
QuZhengRong2 天前
【AI】Agent 全栈进阶|AgentScope 沙箱源码解析
python·学习·ai·agent·沙箱
承渊政道2 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
诗句藏于尽头2 天前
游戏《完美神话》-使用Ai-agent进行修复已停服游戏到本地成功部署以及GM端网页完整教程
人工智能·学习·游戏