本地部署 mini-omni

engchina2024-10-21 8:33

本地部署 mini-omni

[1. 创建虚拟环境](#1. 创建虚拟环境)
[2. 克隆代码](#2. 克隆代码)
[3. 安装依赖模块](#3. 安装依赖模块)
[4. 启动 server](#4. 启动 server)
[5. 运行 streamlit demo](#5. 运行 streamlit demo)
[6. 运行 gradio demo](#6. 运行 gradio demo)

1. 创建虚拟环境

conda create -n omni python=3.10
conda activate omni

2. 克隆代码

git clone https://github.com/gpt-omni/mini-omni.git
cd mini-omni

3. 安装依赖模块

pip install -r requirements.txt

4. 启动 server

sudo apt-get install ffmpeg
conda activate omni
cd mini-omni
python3 server.py --ip '0.0.0.0' --port 60808

5. 运行 streamlit demo

sudo apt-get install libasound2-dev portaudio19-dev libportaudio2 libportaudiocpp0

export PYTHONPATH=./
pip install PyAudio==0.2.14
conda install -c conda-forge libstdcxx-ng
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

使用浏览器打开 http://localhost:8501/ 进行访问。

6. 运行 gradio demo

API_URL=http://0.0.0.0:60808/chat python3 webui/omni_gradio.py --port 7860

使用浏览器打开 http://localhost:7860/ 进行访问。

参考资料：

https://github.com/gpt-omni/mini-omni

完结！