本地部署 mini-omni

本地部署 mini-omni

  • [1. 创建虚拟环境](#1. 创建虚拟环境)
  • [2. 克隆代码](#2. 克隆代码)
  • [3. 安装依赖模块](#3. 安装依赖模块)
  • [4. 启动 server](#4. 启动 server)
  • [5. 运行 streamlit demo](#5. 运行 streamlit demo)
  • [6. 运行 gradio demo](#6. 运行 gradio demo)

1. 创建虚拟环境

conda create -n omni python=3.10
conda activate omni

2. 克隆代码

git clone https://github.com/gpt-omni/mini-omni.git
cd mini-omni

3. 安装依赖模块

pip install -r requirements.txt

4. 启动 server

sudo apt-get install ffmpeg
conda activate omni
cd mini-omni
python3 server.py --ip '0.0.0.0' --port 60808

5. 运行 streamlit demo

sudo apt-get install libasound2-dev portaudio19-dev libportaudio2 libportaudiocpp0

export PYTHONPATH=./
pip install PyAudio==0.2.14
conda install -c conda-forge libstdcxx-ng
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

使用浏览器打开 http://localhost:8501/ 进行访问。

6. 运行 gradio demo

API_URL=http://0.0.0.0:60808/chat python3 webui/omni_gradio.py --port 7860

使用浏览器打开 http://localhost:7860/ 进行访问。


参考资料:

完结!

相关推荐
码农研究僧3 小时前
ollama本地部署DeepSeek(Window图文说明)
window·本地部署·deepseek·chatbox
wrj的博客3 天前
2 本地部署DeepSeek模型构建本地知识库+联网搜索详细步骤
本地部署·anythingllm·ollama·deepseek·page assist
一颗小树x5 天前
Llama 3.1 本地电脑部署 Linux系统 【轻松简易】
linux·llama·本地部署·3.1
招风的黑耳6 天前
使用Nginx本地部署Axure生成的HTML文件,局域网内浏览器通过IP和地址访问
nginx·html·axure·本地部署
shandianchengzi8 天前
【笔记】LLM|Ubuntu22服务器极简本地部署DeepSeek+联网使用方式
服务器·llm·api·本地部署·deepseek
wrj的博客8 天前
1 使用ollama完成DeepSeek本地部署
本地部署·ollama·deepseek
奋斗的袍子00710 天前
DeepSeek-R1本地部署详细指南!(Ollama+Chatbox AI+Open WebUI)
人工智能·后端·深度学习·大模型·webui·本地部署·deepseek
F_D_Z14 天前
【清晰教程】本地部署DeepSeek-r1模型
本地部署·deepseek·deepseek-r1
LucianaiB16 天前
深度对比析:DeepSeek服务优胜本地部署、网页版与蓝耘GPU智算云平台的较量以及删除本地部署的过程
python·ai·gpu·本地部署·deepseek
Jackilina_Stone19 天前
【Ubuntu】本地部署Deep Seek(深度求索)大模型的保姆级教程 | 详细教程
linux·运维·人工智能·ubuntu·本地部署·deepseek