FFmpeg开发笔记(一百零一)跨平台的开源音视频移动框架MobileFFmpeg

除了剪映那样的视频剪辑软件,在移动系统上还有一款跨平台的开源音视频框架MobileFFmpeg,通过该框架可以很方便地执行音视频加工操作,下面就来介绍如何在App工程中使用MobileFFmpeg。

MobileFFmpeg 是一款专为 Android、iOS 和 tvOS 移动平台开发的开源音视频处理框架。它的核心作用是将强大的 FFmpeg 工具链移植到移动端,并提供简洁的上层 API,让开发者无需复杂的底层编译和 JNI 操作,就能在 App 里实现专业级的音视频编辑、转码与处理。

MobileFFmpeg几乎能实现电脑端 FFmpeg 的所有功能,包括:

1、格式转换:MP4、AVI、MKV、MOV、GIF 等互转。

2、视频编辑:裁剪、拼接、旋转、加水印、加字幕、倍速播放。

3、音频处理:提取音频、混音、降噪、格式转换(MP3、AAC、WAV)。

4、编码解码:支持 H.264 (x264)、H.265 (x265)、VP9 等主流编解码器。

5、滤镜特效:亮度、对比度、模糊、锐化、防抖等。

6、媒体信息:获取视频分辨率、码率、时长、编码格式等。

MobileFFmpeg的源码托管地址为https://github.com/tanersener/mobile-ffmpeg(星星数4.1k),最新版本是2021年2月发布的v4.4(源码仓库在2025年1月被打包,目前为只读状态),该版本的源码下载地址为https://github.com/tanersener/mobile-ffmpeg/archive/refs/tags/v4.4.LTS.tar.gz。

由于v4.4版本的MobileFFmpeg发布时间较早,为了让小海豚版本的Android Studio Dolphin能够打开它的范例工程,需要对MobileFFmpeg的android工程作如下修改:

一、升级Gradle版本

打开android目录下的gradle/wrapper/gradle-wrapper.properties,把下面这行配置

复制代码
distributionUrl=https\://services.gradle.org/distributions/gradle-6.1.1-all.zip

改成如下这行配置,表示把Gradle版本从6.1.1升级到6.7.1。

复制代码
distributionUrl=https\://services.gradle.org/distributions/gradle-6.7.1-bin.zip

二、更新工具库的仓库位置

打开android目录下的build.gradle,把里面的两处"jcenter()"都改为以下配置:

复制代码
// 以下四行添加阿里云的仓库地址,方便国内开发者下载相关插件
maven { url 'https://maven.aliyun.com/repository/jcenter' }
maven { url 'https://maven.aliyun.com/repository/google'}
maven { url 'https://maven.aliyun.com/repository/gradle-plugin'}
maven { url 'https://maven.aliyun.com/repository/public'}
// 以下添加清华大学的仓库地址
maven { url = uri("https://mirrors.tuna.tsinghua.edu.cn/repository/maven-central/") }
google()
mavenCentral()

因为jcenter仓库已经废弃,所以改成引用国内的仓库位置。

三、调整模块级别的build.gradle

打开android/app目录下的build.gradle,把下面这行配置

复制代码
    ndkVersion "21.3.6528147"

改成下面这行,也就是注释掉ndk配置:

复制代码
    //ndkVersion "21.3.6528147"

接着把下面两行配置

复制代码
    testImplementation "androidx.test.ext:junit:1.1.1"
    testImplementation "org.json:json:20190722"

改成下面两行,也就是注释掉测试配置:

复制代码
    //testImplementation "androidx.test.ext:junit:1.1.1"
    //testImplementation "org.json:json:20190722"

四、修改临时目录的保存路径

打开android/test-app/src/main/java/com/arthenica/mobileffmpeg/test/VideoTabFragment.java,把encodeVideo方法内部的下面代码

复制代码
final File image1File = new File(requireContext().getCacheDir(), "colosseum.jpg");
final File image2File = new File(requireContext().getCacheDir(), "pyramid.jpg");
final File image3File = new File(requireContext().getCacheDir(), "tajmahal.jpg");

改为下面代码,也就是更换临时目录的保存路径:

复制代码
String privatePath = requireContext().getExternalFilesDir(Environment.DIRECTORY_DOWNLOADS).toString();
final File image1File = new File(privatePath, "colosseum.jpg");
final File image2File = new File(privatePath, "pyramid.jpg");
final File image3File = new File(privatePath, "tajmahal.jpg");

接着把getVideoFile方法内部的下面代码

复制代码
final String video = "video." + extension;
return new File(requireContext().getFilesDir(), video);

改为下面代码,同样是更换临时目录的保存路径:

复制代码
String privatePath = requireContext().getExternalFilesDir(Environment.DIRECTORY_DOWNLOADS).toString();
final String video = "video." + extension;
return new File(privatePath, video);

以上修改的目的是把临时目录改到应用自身的私有空间,避免访问公共空间出现未授权的异常。

修改以上配置和代码之后,等待MobileFFmpeg工程编译通过,把主入口的test-app模块安装到手机上,启动之后的App界面如下图所示:

MobileFFmpeg默认支持VP8和MPEG-4等视频编码器,先在界面上方切换到VIDEO标签,再点击界面中间的【ENCODE】按钮,app会把下方的演示图片自动转为一小段视频,转换过程如下图所示:

MobileFFmpeg也支持mp3、vorbis、opus等常见的音频编码器,比如先在界面上方切换到AUDIO标签,再点击界面中间的【ENCODE】按钮,界面下方会显示mp3音频的转换日志,如下图所示:

可见MobileFFmpeg支持视频转码、音频转码等常见的音视频加工操作,以及更多的命令行处理功能。

更多详细的FFmpeg开发知识参见《FFmpeg开发实战:从零基础到短视频上线》一书。

相关推荐
cpp_learner21 小时前
FFmpeg 硬件解码全流程解析
ffmpeg
MindUp1 天前
面试录音视频的AI复盘方案:从语音转录到RAG问答的技术实践
人工智能·面试·音视频
小田的博客1 天前
SAP MM 供应商银行主数据更新报错!message R1228!
android·java·服务器
一笑的小酒馆1 天前
Android智能猫砂盆视频加载慢卡顿问题分析
android
EasyDSS1 天前
企业培训视频散落各处?EasyDSS视频直播点播平台模块如何让知识资产“活“起来
音视频·媒体·直播·点播·easydss
只会cv的小前端1 天前
七巧低代码服务端脚本使用方法
android·低代码·rxjava
1 天前
Android 自定义 View 实战:从零打造工业级全向摇杆控件(OmniJoystickView)
android·kotlin·自定义view·摇杆控件
雨白1 天前
深入理解 Kotlin 协程 (十一):以逸待劳,探秘 select 多路复用与并发安全策略
android·kotlin
海带紫菜菠萝汤1 天前
VP9 vs AV1 vs H.265 编码格式对比:压缩效率与解码性能实测
音视频·h.265·av1·vp9
tedcloud1231 天前
Kimi-K3 部署指南:大模型应用开发环境搭建实践
linux·运维·服务器·开源·音视频