安卓MediaCodec图片声音合成视频

以下是使用 Android MediaCodec 实现多张图片与短音频文件合成视频的完整代码流程,结合 Mermaid 流程图说明核心步骤:


📽️ ​完整代码流程 (Kotlin)​

scss 复制代码
// 1. 初始化视频编码器 & 音频编码器
val videoCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_VIDEO_AVC).apply {
    val format = MediaFormat.createVideoFormat(...).apply {
        setInteger(MediaFormat.KEY_BIT_RATE, 5000000)
        setInteger(MediaFormat.KEY_FRAME_RATE, 30)
        setInteger(KEY_COLOR_FORMAT, COLOR_FormatSurface) // 使用 Surface 渲染
    }
    configure(format, null, null, CONFIGURE_FLAG_ENCODE)
    val surface = createInputSurface() // 获取渲染 Surface
    start()
}

val audioCodec = MediaCodec.createEncoderByType(MediaFormat.MIMETYPE_AUDIO_AAC).apply {
    val format = MediaFormat.createAudioFormat(...).apply {
        setInteger(KEY_BIT_RATE, 128000)
        setInteger(KEY_SAMPLE_RATE, 44100)
    }
    configure(format, null, null, CONFIGURE_FLAG_ENCODE)
    start()
}

// 2. 配置 MediaMuxer (封装视频+音频)
val muxer = MediaMuxer(outputPath, MUXER_OUTPUT_MPEG_4)
var videoTrackIndex = -1
var audioTrackIndex = -1

// 3. 处理视频帧 (图片→Surface)
imagePaths.forEachIndexed { index, path ->
    val bitmap = BitmapFactory.decodeFile(path)
    val canvas = surface.lockCanvas(null)
    canvas.drawBitmap(bitmap, null, Rect(0, 0, width, height), null)
    surface.unlockCanvasAndPost(canvas)

    // 设置时间戳 (单位微秒)
    val pts = index * 1_000_000L / frameRate 

    // 提取编码后的视频数据
    drainEncoder(videoCodec, muxer, videoTrackIndex, pts, isVideo = true)
}

// 4. 处理音频数据 (示例:短音频 PCM 输入)
val audioBuffer = readAudioFile(audioPath) // 读取音频 PCM 数据
val audioInfo = MediaCodec.BufferInfo().apply {
    presentationTimeUs = 0 // 音频起始时间戳
    size = audioBuffer.size
}
drainEncoder(audioCodec, muxer, audioTrackIndex, audioInfo, isVideo = false)

// 5. 资源释放
videoCodec.stop()
audioCodec.stop()
muxer.stop()
videoCodec.release()
audioCodec.release()
muxer.release()

// 辅助函数:提取编码数据并写入 Muxer
fun drainEncoder(
    codec: MediaCodec, 
    muxer: MediaMuxer, 
    trackIndex: Int, 
    info: BufferInfo, 
    isVideo: Boolean
) {
    while (true) {
        val outputIndex = codec.dequeueOutputBuffer(info, TIMEOUT_US)
        if (outputIndex >= 0) {
            val buffer = codec.getOutputBuffer(outputIndex)
            muxer.writeSampleData(trackIndex, buffer, info) // 写入封装器
            codec.releaseOutputBuffer(outputIndex, false)
        } else if (outputIndex == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {
            // 首次获取轨道格式
            if (isVideo) videoTrackIndex = muxer.addTrack(codec.outputFormat)
            else audioTrackIndex = muxer.addTrack(codec.outputFormat)
            if (videoTrackIndex >= 0 && audioTrackIndex >= 0) muxer.start()
        }
    }
}

🔄 ​Mermaid 流程图

flowchart TD S((开始)) --> I["初始化编码器"] I --> V["配置视频 Surface"] I --> A["配置音频 PCM"] V --> R["图片渲染到 Surface"] R --> E1["编码视频帧"] A --> E2["编码音频数据"] E1 --> M["MediaMuxer 封装"] E2 --> M M --> D{"全部帧完成?"} D -->|是| C["释放资源"] D -->|否| R C --> F["输出视频文件"]

⚙️ ​关键实现细节

  1. 视频编码初始化

    • 必须使用 COLOR_FormatSurface 避免兼容性问题
    • 时间戳计算:pts = 帧序号 × (1_000_000 / 帧率)
  2. 音频处理

    • 音频需转换为 PCM 格式输入编码器
    • 音频时间戳从 0 开始,与视频同步需对齐起始点
  3. 同步机制

    • 视频同步:按帧率均匀分配时间戳
    • 音视频对齐:确保音频总时长 ≥ 视频时长,不足则循环填充
  4. MediaMuxer 启动时机

    • 需等待视频和音频轨道格式均获取后(INFO_OUTPUT_FORMAT_CHANGED)再启动

⚠️ ​注意事项

  1. 线程管理

    • 编码操作需在后台线程执行
    • 使用 HandlerThread 避免阻塞 UI
  2. 资源释放

    • 严格按顺序释放:先停止编码器 → 停止 Muxer → 释放资源
  3. 兼容性处理

    • 检测设备支持的编码格式:

      lua 复制代码
      MediaCodecList.findEncoderForFormat(format)
  4. 音频截断

    • 若音频短于视频,需在 drainEncoder 中补静音帧或循环音频
相关推荐
AI视觉网奇2 小时前
android adb调试 鸿蒙
android
NRatel3 小时前
GooglePlay支付接入记录
android·游戏·unity·支付·googleplay
在下历飞雨3 小时前
为啥选了Kuikly?2025“液态玻璃时代“六大跨端框架横向对比
android·harmonyos
雨白3 小时前
Android 自定义View:详解尺寸测量 onMeasure
android
用户093 小时前
Gradle 隔离项目方法总结(Isolated)
android·kotlin
召摇3 小时前
Big O 表示法详解
android·javascript
用户0273851840263 小时前
[Android] UI进阶笔记:从 Toolbar 到可折叠标题栏的完整实战
android
猿小蔡3 小时前
Robolectric拿到当前的Activity
android·单元测试
vocal3 小时前
【我的安卓第一课】Activity 生命周期下的重要函数 finish/onBackPressed
android
alexhilton4 小时前
Android应用的架构演进
android·kotlin·android jetpack