GPT4All : 便捷易用的本地智能问答推理软件(乱记)

安装与使用

• 去官网 https://gpt4all.io/index.html下载可执行文件。
  
• 打开应用即可看到是否共享数据的选项：
  
• 然后自动进入模型下载界面
  

测试

• 内存占用
  

• 缺点：在我本地的轻薄本上运行时，风扇会有轻微噪声，关闭软件很久都没停止。

python端

# pip install gpt4all // https://docs.gpt4all.io/

from gpt4all import GPT4All
model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")
output = model.generate("The capital of France is ", max_tokens=3)
print(output) 

后端实现

根据官方提供的后端实现,目前支持三种不同的模型体系结构：GPT-J 架构， LLAMA 架构，基于 Mosaic ML 的 MPT 架构的模型。由于 Georgi Gerganov 编写的 ggml 库和各开源社区不断增长的开发人员的支持模型可用于 CPU 推理。

CG