基于ollama搭建本地chatGPT

ollama帮助我们可以快速在本地运行一个大模型,再整合一个可视化页面就能构建一个chatGPT,可视化页面我选择了chat-ollama(因为它还能支持知识库,可玩性更高),如果只是为了聊天更推荐chatbox

部署步骤

  1. 下载ollama并启动,参考:https://ollama.com/download
java 复制代码
# 启动命令
ollama serve
  1. 下载chat-ollama,参考:https://github.com/sugarforever/chat-ollama。本人使用docker安装的
java 复制代码
docker compose up
# 如果您是第一次启动,需要初始化 SQLite 数据库,在新的控制台运行
docker-compose exec chatollama npx prisma migrate dev
  1. 访问chat-ollama,网址:http://localhost:3000
  2. 配置ollama地址
  3. 点击models,下载模型llama2-chinese。因为Llama 2 本身的中文比较弱。
  4. 开始聊天

注意

llama2-chinese模型最少要8G内存

  • 7b models generally require at least 8GB of RAM
  • 13b models generally require at least 16GB of RAM

CPU跑的太慢,用GPU的话也要差不多8G显存

相关推荐
一个处女座的程序猿1 天前
LLMs之Agent:ChatGPT Agent发布—统一代理系统将研究与行动无缝对接,开启智能助理新时代
chatgpt·agent
gptplusplus1 天前
停止“玩具式”试探:深入拆解ChatGPT Agent的技术栈与实战避坑指南
chatgpt
WSSWWWSSW1 天前
基于模拟的流程为灵巧机器人定制训练数据
人工智能·chatgpt·机器人
一休哥助手2 天前
ChatGPT Agent架构深度解析:OpenAI如何构建统一智能体系统
人工智能·chatgpt·架构
qq_417719982 天前
免费的大模型面试辅导系列课程
人工智能·深度学习·chatgpt·面试·职场和发展·求职招聘
AI探知-阿薇3 天前
智能体之变:深度解析OpenAI ChatGPT Agent如何重塑人机协作的未来
人工智能·chatgpt
陈敬雷-充电了么-CEO兼CTO3 天前
OpenAI发布ChatGPT Agent,AI智能体迎来关键变革
java·人工智能·python·gpt·chatgpt·大模型·agi
Code_流苏4 天前
ChatGPT Agent深度解析:告别单纯问答,一个指令搞定复杂任务?
人工智能·自然语言处理·chatgpt·openai·agent·智能体
Mr.小海4 天前
金融大模型与AI在金融业务中的应用调研报告(2025年)
人工智能·算法·机器学习·chatgpt·金融·gpt-3·文心一言
领航猿1号4 天前
OpenAI发布通用智能体ChatGPT Agent:实现自主思考、联网与工具调用,智能体赛道大变天!
人工智能·chatgpt