ChatGPT本地部署,学习记录

一、GPT4ALL模型

官网地址:

Github:https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易,但是在运行体验上一般,并且是只调用CPU来进行运算。

看官方文档介绍在嵌入式上有比较大的优势,但是目前个人对嵌入式方向接触不深,仅在本机部署使用。

本机配置(CPU:i5-8400、显卡:1060、内存:8)

二、模型下载

链接:https://gpt4all.io/index.html

可以自行选择不同的model类型,都有相对应的介绍,然后直接下载即可。

model使用相关文档链接:https://docs.gpt4all.io/index.html

三、使用过程

安装第三方库:pip install gpt4all

运行如下代码

python 复制代码
from gpt4all import GPT4All
model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)

使用上述代码,既可在命令行和模型连续沟通,但是体验感不佳(可能是因为我自己电脑配置的原因。。 )

也可以安装界面版,相关信息github自行获取。

将陆续更新其他的模型本地部署(问就是GPT4ALL不是很好用... )

相关推荐
知识分享小能手4 分钟前
uni-app 入门学习教程,从入门到精通,uni-app 基础知识详解 (2)
前端·javascript·windows·学习·微信小程序·小程序·uni-app
曼城的天空是蓝色的29 分钟前
在环境条件下通过学习基于不同角度的交互信息来实现行人轨迹预测
学习
阳光宅男@李光熠39 分钟前
【质量管理】构建供应链韧性的第一道防线——高风险供应商的识别
笔记·学习
凉、介1 小时前
ARM 总线技术 —— AMBA 入门
arm开发·笔记·学习
日更嵌入式的打工仔2 小时前
嵌入式入门:APP+BSP+HAL 三层分级架构浅析
笔记·单片机·嵌入式硬件·学习
since �2 小时前
前端转Java,从0到1学习教程
java·前端·学习
OliverH-yishuihan2 小时前
FPGA 入门 3 个月学习计划表
学习·fpga开发
weixin_405023372 小时前
webpack 学习
前端·学习·webpack
大白的编程日记.2 小时前
【Linux学习笔记】线程同步与互斥之生产者消费者模型
linux·笔记·学习
好奇龙猫3 小时前
AI学习:SPIN -win-安装SPIN-工具过程 SPIN win 电脑安装=accoda 环境-第五篇:代码修复]
人工智能·学习