无声视频自动配音效,开源模型thinksound 和mmaudio复现

朋友们,好久没看csdn 发现自己的文章还有人在看,所以还是来更新了

最近ASMR 的视频蛮火的,就是切开任何东西会发出声音,但我看教程都是走到app 的自动生成音效感觉无趣,还是自己复现

1、thinksound

最近一致排名挺高的一个项目,但是我个人感觉应该是训练的问题,效果真的不怎么好。
ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editinghttps://thinksound-project.github.io/ 它利用思维链(CoT)推理,实现视频的逐步交互式音频生成和编辑。Cot 的应用哦

我先贴出来效果:我试了很多都不是很好,如果是我操作问题欢迎大家指正

5_thihksound

复现流程

1、打开github

https://github.com/FunAudioLLM/ThinkSoundhttps://github.com/FunAudioLLM/ThinkSound2、到本地存放项目的文件夹下 shift 加右键 打开cmd ,并git clone 仓库

bash 复制代码
git clone https://github.com/liuhuadai/ThinkSound.git

然后使用自己的编译器打开哦

3、我推荐window 用户直接双击setup_windows.bat 进行安装环境,前提是有conda ,我使用的windows ,安装流程没有问题, 最后一步会 从huggingface 下载模型,如果你存在 网络问题,或者翻墙问题,可以去自行下载

bash 复制代码
git lfs install
git clone https://huggingface.co/liuhuadai/ThinkSound ckpts

4、激活环境后 直接运行界面就可以,会进行一次下载,没有大问题

python app.py

2、mmaudio

我个人感觉这个不算新的项目反而表现的很好

5_mmaudio

1、来到github 同样进行clone

https://github.com/hkchengrex/MMAudiohttps://github.com/hkchengrex/MMAudio2、我用刚才的thinksound 直接进行也可以重新创建新环境

bash 复制代码
conda create -n mmaudio python==3.9
conda activate mmaudio

然后去torch 官网安装适合自己cuda 版本的torch ,要求2.5.1以上,比如下面

bash 复制代码
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade

最后去安装项目

bash 复制代码
cd MMAudio
pip install -e .

如果报错就是先进行pip 的更新pip install --upgrade pip

3、同样推荐直接运行界面

python gradio_demo.py

会进行模型下载,我没遇到什么问题,如果有问题留言,我偶尔回来看看,对了视频是wan2.1 本地生成的

相关推荐
梦星辰.1 小时前
SGLang 推理框架深度解析:请求的调度与生命周期
人工智能
智驱力人工智能2 小时前
智慧后厨检测算法构建智能厨房防护网
人工智能·算法·口罩识别·行为识别·食品安全·高温预警·手套识别
中科岩创2 小时前
武汉江滩某码头变形及应力自动化监测
人工智能·物联网·自动化
盼小辉丶4 小时前
图机器学习(11)——链接预测
人工智能·机器学习·图机器学习
CareyWYR4 小时前
每周AI论文速递(250714-250718)
人工智能
想要成为计算机高手5 小时前
9. isaacsim4.2教程-ROS加相机/CLOCK
人工智能·机器人·ros·仿真·具身智能·isaacsim
Elastic 中国社区官方博客5 小时前
AI 驱动的仪表板:从愿景到 Kibana
大数据·数据库·人工智能·elasticsearch·搜索引擎·全文检索·kibana
西柚小萌新5 小时前
【大模型:知识图谱】--6.Neo4j DeskTop安装+使用
人工智能·知识图谱
杨小扩5 小时前
开发者进化论:驾驭AI,开启软件工程新纪元
人工智能·软件工程