本地运行大语言模型并可视化(Ollama+big-AGI方案)

目前有两种方案支持本地部署,两种方案都是基于llamacpp。其中 Ollama 目前只支持 Mac,LM Studio目前支持 Mac 和 Windows。

LM Studio:https://lmstudio.ai/

Ollama:https://ollama.ai/download

本文以 Ollama 为例
step1 首先下载 zip 文件,大概 120M, 解压并直接安装

step2 命令行终端运行命令 ollama run llama2,该命令会下载 llama2 模型,随后运行这个模型,现在我们就可以在终端对话了

该命令同时启动一个后台服务程序,运行端口 11434, 所以我们也可以通过 API 得到结果

sh 复制代码
curl http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
}'

step3 目前我们只能在终端对话,现在配置可视化对话框。新建终端窗口,依次执行以下命令

shell 复制代码
git clone https://github.com/enricoros/big-agi.git
cd big-agi
npm install
npm run dev

备注:

执行 npm install 可能报错: zsh: command not found: npm

解决方案:执行命令 brew install node

查看是否安装成功:npm -v

step4 该服务启动在 3000 端口:http://localhost:3000/ ,直接在浏览器中打开,界面窗口中 vendor 记得选择 ollama

现在就可以在可视化界面中中交互了

参考:
https://weibo.com/1727858283/NxepVtnlj

https://github.com/jmorganca/ollama

https://github.com/enricoros/big-AGI/blob/main/README.md

相关推荐
白-胖-子4 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手5 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
静心问道6 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.06 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12017 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen7 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域7 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木7 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能
凪卄12138 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm