本地运行大语言模型并可视化(Ollama+big-AGI方案)

目前有两种方案支持本地部署,两种方案都是基于llamacpp。其中 Ollama 目前只支持 Mac,LM Studio目前支持 Mac 和 Windows。

LM Studio:https://lmstudio.ai/

Ollama:https://ollama.ai/download

本文以 Ollama 为例
step1 首先下载 zip 文件,大概 120M, 解压并直接安装

step2 命令行终端运行命令 ollama run llama2,该命令会下载 llama2 模型,随后运行这个模型,现在我们就可以在终端对话了

该命令同时启动一个后台服务程序,运行端口 11434, 所以我们也可以通过 API 得到结果

sh 复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
}'

step3 目前我们只能在终端对话,现在配置可视化对话框。新建终端窗口,依次执行以下命令

shell 复制代码
git clone https://github.com/enricoros/big-agi.git
cd big-agi
npm install
npm run dev

备注:

执行 npm install 可能报错: zsh: command not found: npm

解决方案:执行命令 brew install node

查看是否安装成功:npm -v

step4 该服务启动在 3000 端口:http://localhost:3000/ ,直接在浏览器中打开,界面窗口中 vendor 记得选择 ollama

现在就可以在可视化界面中中交互了

参考:
https://weibo.com/1727858283/NxepVtnlj

https://github.com/jmorganca/ollama

https://github.com/enricoros/big-AGI/blob/main/README.md

相关推荐
dlraba80218 分钟前
基于 OpenCV 的信用卡数字识别:从原理到实现
人工智能·opencv·计算机视觉
IMER SIMPLE34 分钟前
人工智能-python-深度学习-经典神经网络AlexNet
人工智能·python·深度学习
小憩-2 小时前
【机器学习】吴恩达机器学习笔记
人工智能·笔记·机器学习
却道天凉_好个秋3 小时前
深度学习(二):神经元与神经网络
人工智能·神经网络·计算机视觉·神经元
UQI-LIUWJ3 小时前
unsloth笔记:运行&微调 gemma
人工智能·笔记·深度学习
THMAIL3 小时前
深度学习从入门到精通 - 生成对抗网络(GAN)实战:创造逼真图像的魔法艺术
人工智能·python·深度学习·神经网络·机器学习·生成对抗网络·cnn
却道天凉_好个秋3 小时前
计算机视觉(八):开运算和闭运算
人工智能·计算机视觉·开运算与闭运算
无风听海3 小时前
神经网络之深入理解偏置
人工智能·神经网络·机器学习·偏置
JoinApper3 小时前
目标检测系列-Yolov5下载及运行
人工智能·yolo·目标检测
飞哥数智坊3 小时前
即梦4.0实测:我真想对PS说“拜拜”了!
人工智能