FFmpeg开发笔记(一百零一)跨平台的开源音视频移动框架MobileFFmpeg

除了剪映那样的视频剪辑软件,在移动系统上还有一款跨平台的开源音视频框架MobileFFmpeg,通过该框架可以很方便地执行音视频加工操作,下面就来介绍如何在App工程中使用MobileFFmpeg。

MobileFFmpeg 是一款专为 Android、iOS 和 tvOS 移动平台开发的开源音视频处理框架。它的核心作用是将强大的 FFmpeg 工具链移植到移动端,并提供简洁的上层 API,让开发者无需复杂的底层编译和 JNI 操作,就能在 App 里实现专业级的音视频编辑、转码与处理。

MobileFFmpeg几乎能实现电脑端 FFmpeg 的所有功能,包括:

1、格式转换:MP4、AVI、MKV、MOV、GIF 等互转。

2、视频编辑:裁剪、拼接、旋转、加水印、加字幕、倍速播放。

3、音频处理:提取音频、混音、降噪、格式转换(MP3、AAC、WAV)。

4、编码解码:支持 H.264 (x264)、H.265 (x265)、VP9 等主流编解码器。

5、滤镜特效:亮度、对比度、模糊、锐化、防抖等。

6、媒体信息:获取视频分辨率、码率、时长、编码格式等。

MobileFFmpeg的源码托管地址为https://github.com/tanersener/mobile-ffmpeg(星星数4.1k),最新版本是2021年2月发布的v4.4(源码仓库在2025年1月被打包,目前为只读状态),该版本的源码下载地址为https://github.com/tanersener/mobile-ffmpeg/archive/refs/tags/v4.4.LTS.tar.gz。

由于v4.4版本的MobileFFmpeg发布时间较早,为了让小海豚版本的Android Studio Dolphin能够打开它的范例工程,需要对MobileFFmpeg的android工程作如下修改:

一、升级Gradle版本

打开android目录下的gradle/wrapper/gradle-wrapper.properties,把下面这行配置

复制代码
distributionUrl=https\://services.gradle.org/distributions/gradle-6.1.1-all.zip

改成如下这行配置,表示把Gradle版本从6.1.1升级到6.7.1。

复制代码
distributionUrl=https\://services.gradle.org/distributions/gradle-6.7.1-bin.zip

二、更新工具库的仓库位置

打开android目录下的build.gradle,把里面的两处"jcenter()"都改为以下配置:

复制代码
// 以下四行添加阿里云的仓库地址,方便国内开发者下载相关插件
maven { url 'https://maven.aliyun.com/repository/jcenter' }
maven { url 'https://maven.aliyun.com/repository/google'}
maven { url 'https://maven.aliyun.com/repository/gradle-plugin'}
maven { url 'https://maven.aliyun.com/repository/public'}
// 以下添加清华大学的仓库地址
maven { url = uri("https://mirrors.tuna.tsinghua.edu.cn/repository/maven-central/") }
google()
mavenCentral()

因为jcenter仓库已经废弃,所以改成引用国内的仓库位置。

三、调整模块级别的build.gradle

打开android/app目录下的build.gradle,把下面这行配置

复制代码
    ndkVersion "21.3.6528147"

改成下面这行,也就是注释掉ndk配置:

复制代码
    //ndkVersion "21.3.6528147"

接着把下面两行配置

复制代码
    testImplementation "androidx.test.ext:junit:1.1.1"
    testImplementation "org.json:json:20190722"

改成下面两行,也就是注释掉测试配置:

复制代码
    //testImplementation "androidx.test.ext:junit:1.1.1"
    //testImplementation "org.json:json:20190722"

四、修改临时目录的保存路径

打开android/test-app/src/main/java/com/arthenica/mobileffmpeg/test/VideoTabFragment.java,把encodeVideo方法内部的下面代码

复制代码
final File image1File = new File(requireContext().getCacheDir(), "colosseum.jpg");
final File image2File = new File(requireContext().getCacheDir(), "pyramid.jpg");
final File image3File = new File(requireContext().getCacheDir(), "tajmahal.jpg");

改为下面代码,也就是更换临时目录的保存路径:

复制代码
String privatePath = requireContext().getExternalFilesDir(Environment.DIRECTORY_DOWNLOADS).toString();
final File image1File = new File(privatePath, "colosseum.jpg");
final File image2File = new File(privatePath, "pyramid.jpg");
final File image3File = new File(privatePath, "tajmahal.jpg");

接着把getVideoFile方法内部的下面代码

复制代码
final String video = "video." + extension;
return new File(requireContext().getFilesDir(), video);

改为下面代码,同样是更换临时目录的保存路径:

复制代码
String privatePath = requireContext().getExternalFilesDir(Environment.DIRECTORY_DOWNLOADS).toString();
final String video = "video." + extension;
return new File(privatePath, video);

以上修改的目的是把临时目录改到应用自身的私有空间,避免访问公共空间出现未授权的异常。

修改以上配置和代码之后,等待MobileFFmpeg工程编译通过,把主入口的test-app模块安装到手机上,启动之后的App界面如下图所示:

MobileFFmpeg默认支持VP8和MPEG-4等视频编码器,先在界面上方切换到VIDEO标签,再点击界面中间的【ENCODE】按钮,app会把下方的演示图片自动转为一小段视频,转换过程如下图所示:

MobileFFmpeg也支持mp3、vorbis、opus等常见的音频编码器,比如先在界面上方切换到AUDIO标签,再点击界面中间的【ENCODE】按钮,界面下方会显示mp3音频的转换日志,如下图所示:

可见MobileFFmpeg支持视频转码、音频转码等常见的音视频加工操作,以及更多的命令行处理功能。

更多详细的FFmpeg开发知识参见《FFmpeg开发实战:从零基础到短视频上线》一书。

相关推荐
voipmaker1 小时前
GB28181 对接踩坑实录:注册不上、目录不全、流卡顿,一次说清(附 2022 版变更清单)
物联网·音视频·实时音视频·信息与通信·iot·gb28181·国标gb28181
驰骋工作流1 小时前
流程时效考核的表结构:从待办时限到 WF_CH 考核结果驰骋BPM驰骋低代码低代码工作流引擎
android·低代码·rxjava
2601_958352903 小时前
23.5×19mm 换掉一整条音频链?|A-68 集成了什么:ADC / DAC / 24.576MHz 时钟 / AEC / 波束降噪,主控仅需 6 根线
前端·音视频·ai降噪·回声消除·语音模块
2601_965448873 小时前
AI视频制作:做系列历史人物视频音色不搭,AI 音色克隆的方法实测
人工智能·音视频
码上观世界3 小时前
多余的一声「嗯」:Fun-CosyVoice3 zero_shot 开头伪影排查实录
音视频
传奇开心果编程3 小时前
【Flutter踩坑排雷】第7课:巨型 build 函数坑|全部 UI 写在同一个 build,维护难、隐性异常
android·flutter·ios·移动开发·跨平台·dart·声明式ui
manyingAi3 小时前
AI漫剧生产系统架构解析:从文本拆解到音视频合成
人工智能·音视频
方白羽7 小时前
Android 双开环境底层剖析与风控检测落地
android·安全·app
weixin_563371477 小时前
Android Studio 2024 版 Device Explorer 打开方法
android·ide·android studio
技灵AI7 小时前
MiniMax H3 能做哪些视频?商品广告、人物表演与运镜怎么选
人工智能·prompt·aigc·音视频