Audiocraft智能音频和音乐生成工具部署及使用

benben0442024-12-18 20:51

1、概述

Facebook开源了一款名为AudioCraft的AI音频和音乐生成工具。

该工具可以直接从文本描述和参考音乐生成高质量的音频和音乐。AudioCraft包含MusicGen、AudioGen和EnCodec三个模型，分别实现音乐生成、音频生成和自定义音频模型构建。

conda create -n audiocraft python==3.9

进入audiocraft根目录，依次执行：

安装torch2.1.0版本

python -m pip install 'torch==2.1.0'

安装setuptools wheel

python -m pip install setuptools wheel

安装Audiocraft 包

python -m pip install -U audiocraft

在 Python 中从当前目录安装一个包的"可编辑"（editable）模式。

python -m pip install -e .

安装当前目录下的 Python 包，并以可编辑模式安装，同时包括名为 wm的额外功能。

python -m pip install -e '.[wm]'

安装ffmpeg

conda install "ffmpeg<5" -c conda-forge

安装主要的依赖包

pip install -r requirements.txt

进入/audiocraft/demos文件夹

cd demos

编辑musicgen_app.py中的listen和server_port参数

vim musicgen_app.py

在右下角显示的482行 ，的--listen下的default修改成default='0.0.0.0'，494行的--server_port下的default修改成自己的业务端口，修改好后直接输入：wq 即可

运行命令：

python musicgen_app.py

注意：prompts中填入音乐相关的参数，不要描绘画面（那是给SD用的）。

后台执行日志见：

可以看到首次执行时会下载相关的模型。