基于Roop视频换脸

Roop 是一个强大的一键换脸工具,允许用户在视频中替换面部,只需要目标面部的一张图片,无需数据集,无需训练。

相对于之前的 Simswap 来说效果要好很多,不过需要注意的是没有授权不要商用。

文章目录

环境搭建

创建虚拟环境。

shell 复制代码
conda create -n myenv python=3.10.6

项目克隆。

shell 复制代码
git clone https://github.com/s0md3v/roop.git

激活虚拟环境并安装依赖,补充安装显卡依赖。

shell 复制代码
pip install -r requirements.txt
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

进入项目后执行命令启动。

shell 复制代码
python run.py

此时会自动下载各种模型,对于模型不能下载的问题请看最后错误解答部分。

使用方法

基础功能

启动命令之后会看到下面的操作界面

这里分别解释一下他们的作用

  • select face 选择要替换的人脸照片
  • select targen 选择要被替换的视频
  • Keey target fps 和被替换的视频保持一致的帧率
  • Keep temporary frames 是否保留替换过程中的图片
  • Skip target audio 是否跳过音频(一般不使用)
  • Many faces 是否有多张脸(一般不使用)

点击 Preview 预览按钮会弹出预览界面,默认抓取视频中出现的第一个人物的脸部进行替换。

也可以移动视频预览的进度条到想替换的人脸片段,使用方向键 或者 进行替换。这个是之前锁定的华仔,现在换成了梁仔。

选择好要替换的人物直接点开始就可以了,检查一下显存使用和数据帧生成的情况。

最后会在文件夹目录下生成一个temp.mp4的文件,就是换脸后合成的视频了,发现视频没有声音,画面换的人脸还比较模糊,带有音频的文件保存在start启动之前的路径位置。

常用处理生产方法

只用CPU处理视频。

python 复制代码
python run.py

使用GPU处理视频。

python 复制代码
python run.py --execution-provider cuda  

图片保存jpg格式 。

python 复制代码
python run.py --execution-provider cuda --temp-frame-format jpg

视频高清化处理。

python 复制代码
python run.py --execution-provider cuda --temp-frame-format jpg --frame-processor face_swapper face_enhancer 

处理脸部跳闪。

python 复制代码
python run.py --execution-provider cuda --temp-frame-format jpg --frame-processor face_swapper face_enhancer --similar-face-distance 1.5

指定帧识别人脸并替换,找到指定的帧数,位置人脸指定是从右向左从0开始计算。

python 复制代码
python run.py --execution-provider cuda  --reference-face-position 3  --reference-frame-number 166 --similar-face-distance 1.5

画面预览

超分后的画面预览。

错误解答

问题 urllib.error.HTTPError: HTTP Error 401: Unauthorized

由于下载inswapper_128.onnx'文件没有权限导致的,即没有权限访问蓝色部分网址导致的。这个要自己搜索一下inswapper_128.onnx文件并下载保存到项目的models目录下。

问题 http.client.RemoteDisconnected: Remote end closed connection without response

由于下载GFPGANv1.4.pth没有权限导致的,可以尝试使用一些上网方法下载,或者直接使用别的项目复制过来。如果能正常下载的话模型会自动下载到项目的models文件夹下。

同时还有可能出现的问题模型还有detection_Resnet50_Final.pthparsing_parsenet.pth处理方法都是一样的,上述模型都是用于画面超分使用的。

问题 Could not locate zlibwapi.dll. Please make sure it is in your library path!

是由于cuda缺少一些依赖文件。

自行百度搜索zlibwapi.dll 会得到一个压缩包自行移动文件到你的NVIDIA GPU Computing Toolkit\CUDA目录下。

相关推荐
启雀AI6 小时前
培训平台移动端离线学习方案设计与实现:视频缓存、断点续传与进度同步的工程实践
android·学习·缓存·音视频·企业lms
科技新资讯9 小时前
跨境出海视频翻译怎么落地?专业出海级视频翻译工具能力解析
音视频
AI服务老曹13 小时前
摄像机安装AI视频分析完整流程:从现场物理安装、硬解配置到算法POC效果验证
人工智能·算法·音视频
Black蜡笔小新13 小时前
塔吊监测、安全帽、烟火检测:国标GB28181视频平台EasyCVR在智慧工地视频汇聚中的实战应用
人工智能·音视频·easycvr
小柯南敲键盘13 小时前
跨马翻译:跨境电商批量图片翻译与视频字幕工具推荐
人工智能·python·音视频
ai产品老杨1 天前
AI视频分析并发优化完整流程:解决多路视频并发不足与高延迟排查指南
人工智能·音视频
小柯南敲键盘1 天前
电商图片翻译工具推荐,批量处理主图视频字幕,免费试用
大数据·人工智能·python·音视频
程序员老陆1 天前
FFmpeg的AVFrame全部数据操作函数详解
ffmpeg·音视频·avframe
tech讯息2 天前
商业化内容生产适用企业级视频生成模型云平台推荐|从模型生成至审核分发全链路 AWS 选型方案
人工智能·音视频·aws
杀生丸学AI2 天前
【稀疏重建】StructSplat:基于非校准稀疏视图的可泛化3DGS
深度学习·3d·音视频·transformer·三维重建·空间智能