Audiocraft智能音频和音乐生成工具部署及使用

1、概述

Facebook开源了一款名为AudioCraft的AI音频和音乐生成工具。

该工具可以直接从文本描述和参考音乐生成高质量的音频和音乐。AudioCraft包含MusicGen、AudioGen和EnCodec三个模型,分别实现音乐生成、音频生成和自定义音频模型构建。

2、项目地址

https://github.com/facebookresearch/audiocraft.git

3、部署流程

(1)使用conda创建python环境

conda create -n audiocraft python==3.9

(2)下载代码ECS中

(3)配置环境

进入audiocraft根目录,依次执行:

安装torch2.1.0版本

python -m pip install 'torch==2.1.0'

安装setuptools wheel

python -m pip install setuptools wheel

安装Audiocraft 包

python -m pip install -U audiocraft

在 Python 中从当前目录安装一个包的"可编辑"(editable)模式。

python -m pip install -e .

安装当前目录下的 Python 包,并以可编辑模式安装,同时包括名为 wm的额外功能。

python -m pip install -e '.[wm]'

安装ffmpeg

conda install "ffmpeg<5" -c conda-forge

安装主要的依赖包

pip install -r requirements.txt

(4)修改audiocraft配置文件

进入/audiocraft/demos文件夹

cd demos

编辑musicgen_app.py中的listen和server_port参数

vim musicgen_app.py

在右下角显示的482行 ,的--listen下的default修改成default='0.0.0.0',494行的--server_port下的default修改成自己的业务端口,修改好后直接输入:wq 即可

4、运行Audiocraft

运行命令:

python musicgen_app.py

注意:prompts中填入音乐相关的参数,不要描绘画面(那是给SD用的)。

后台执行日志见:

可以看到首次执行时会下载相关的模型。

5、报错处理

错误解决参考文档:解决libcusparse.so.12: undefined symbol: __nvJitLinkAddData_12_1, version libnvJitLink.so.12-CSDN博客

相关推荐
xiaopengbc10 分钟前
免费的视频音频文档文件选装百种格式转换软件(附下载)
音视频
Shang1809893572611 分钟前
MS2107高性能USB 2.0视频信号和音频采集,支持NTSC/PAL制式,适用于低成本视频采集设备
嵌入式硬件·fpga开发·音视频·硬件工程·信息与通信·dsp开发
老贾专利烩36 分钟前
音频共享耳机专利拆解:碰击惯性数据监测与阈值减速识别机制研究
音视频·信息与通信·科技前沿·创新专利
web前端进阶者2 小时前
音视频开发远端未发布视频占位图
音视频·webrtc
syso_稻草人2 小时前
基于 ComfyUI + Wan2.2 animate实现 AI 视频人物换衣:完整工作流解析与资源整合(附一键包)
人工智能·音视频
追风20194 小时前
OSS存储的视频,安卓和PC端浏览器打开正常,苹果端打开不播放,什么原因?
音视频
救救孩子把5 小时前
从 Sora 到 Sora 2:文本生成视频进入下一个阶段(附sora教程)
音视频·sora
-KamMinG8 小时前
云上极速转码:阿里云ECS+T4 GPU打造高性能FFmpeg视频处理引擎(部署指南)
阿里云·ffmpeg·音视频
给大佬递杯卡布奇诺1 天前
FFmpeg 基本API avcodec_alloc_context3函数内部调用流程分析
c++·ffmpeg·音视频
给大佬递杯卡布奇诺1 天前
FFmpeg 基本API avio_open函数内部调用流程分析
c++·ffmpeg·音视频