Media3 ExoPlayer扩展切换声道能力

ExoPlayer并没有提供切换左右声道的接口,对于单音轨歌曲切换原伴唱就需要自己实现切换左右声道的能力了。

1.音频存储

PCM (脉冲编码调制)是音频的原始数字表示形式,对于立体声(双声道),其数据通常是交错存储的。

一个 16 位(2 字节)、44.1kHz 的立体声 PCM 数据流,它的排列会是这样的:

css 复制代码
[左声道样本1字节1][左声道样本1字节2][右声道样本1字节1][右声道样本1字节2][左声道样本2字节1][左声道样本2字节2][右声道样本2字节1][右声道样本2字节2]...

可以简化为: L1, R1, L2, R2, L3, R3, ...

2.实现方式

基于上述格式,我们可以通过不同的算法来实现 "切换左声道" 的效果:

以右声道为例:让左声道没有声音,原始:L1, R1, L2, R2, ... 处理后:0, R1, 0, R2, ...

或者左右声道都填充左声道,保持立体声和简化计算,原始:L1, R1, L2, R2, ... 处理后:L1, L1, L2, L2, ...

3.音频处理流程

AudioProcessor 采用处理器链(AudioProcessorChain)设计模式。它可以将解码后的音频数据通过一系列处理器转换后输出到 AudioTrack。开发者可以自定义 AudioProcessor 插入处理链,以实现对音频数据的特定处理,如切换左右声道。

4.AudioProcessor

AudioProcessor 是 ExoPlayer 中负责音频数据处理的核心组件之一,核心方法包括:

  • configure():初始化处理器(传入音频的采样率、声道数、编码格式)
  • isActive():返回处理器是否处于激活状态(如 "仅立体声时才处理声道切换")
  • queueInput(ByteBuffer):接收输入的音频数据,在这里实现自定义处理逻辑(比如修改声道数据)
  • getOutput():返回处理后的音频数据。
  • flush()/reset():用于播放器状态切换(如暂停、停止)时清空缓冲区、重置状态。

当然ExoPlayer还提供了音频处理器的基类BaseAudioProcessor , 会把 AudioProcessor 接口的复杂逻辑封装,只暴露几个核心抽象方法。

5.代码实现

因为ExoPlayer默认走会ToInt16PcmAudioProcessor , 将不同格式的PCM音频编码转换为16位PCM格式,只处理16位PCM立体声音频数据。

Java 复制代码
@UnstableApi
public class SwitchChannelAudioProcessor extends BaseAudioProcessor {

    private static final String TAG = "SwitchChannelProcessor";

    /**
     * 表示每个声道的字节数
     */
    private int bytesPerChannel;

    /**
     * 当前声道模式
     */
    private int channelMode = C.CHANNEL_MODE_NONE;

    /**
     * 设置声道模式
     *
     * @param mode 声道模式
     */
    public void setAudioChannelMode(int mode) {
        this.channelMode = mode;
    }

    @Override
    protected AudioFormat onConfigure(AudioFormat inputAudioFormat)
            throws UnhandledAudioFormatException {
        Log.d(TAG, "onConfigure inputAudioFormat:" + inputAudioFormat);
        // 只处理16位PCM立体声音频数据 
        if (inputAudioFormat.channelCount != 2 || inputAudioFormat.encoding != C.ENCODING_PCM_16BIT) {
            return AudioFormat.NOT_SET;
        }
        this.bytesPerChannel = Util.getPcmFrameSize(inputAudioFormat.encoding, 1);
        return inputAudioFormat;
    }

    @Override
    public void queueInput(@NonNull ByteBuffer inputBuffer) {
        // 判断输入缓冲区是否为空
        int remaining = inputBuffer.remaining();
        if (remaining == 0) {
            return;
        }
        // 获取输入缓冲区的剩余字节数
        int position = inputBuffer.position();
        int limit = inputBuffer.limit();
        int size = limit - position;
        // 创建输出缓冲区
        ByteBuffer outputBuffer = replaceOutputBuffer(size);
        try {
            // 立体声模式(包括默认情况)
            if (channelMode == C.CHANNEL_MODE_NONE || channelMode == C.CHANNEL_MODE_STEREO) {
                // 直接复制输入数据到输出缓冲区
                outputBuffer.put(inputBuffer);
            } else {
                // 处理PCM数据
                while (position <= limit - bytesPerChannel * 2) {
                    // 读取左声道数据(前x字节)
                    short leftSample = inputBuffer.getShort(position);
                    position += bytesPerChannel;

                    // 读取右声道数据(后x字节)
                    short rightSample = inputBuffer.getShort(position);
                    position += bytesPerChannel;

                    // 根据声道模式处理数据
                    switch (channelMode) {
                        case C.CHANNEL_MODE_LEFT_ONLY:
                            // 仅左声道
                            outputBuffer.putShort(leftSample);
                            outputBuffer.putShort(leftSample);
                            break;
                        case C.CHANNEL_MODE_RIGHT_ONLY:
                            // 仅右声道
                            outputBuffer.putShort(rightSample);
                            outputBuffer.putShort(rightSample);
                            break;
                        case C.CHANNEL_MODE_SWAP:
                            // 声道反转:左右声道互换
                            outputBuffer.putShort(rightSample);
                            outputBuffer.putShort(leftSample);
                            break;
                    }
                }
                //更新输入缓冲区位置
                inputBuffer.position(position);
            }
        } catch (Exception e) {
            Log.e(TAG, "Error processing audio data", e);
            inputBuffer.position(limit);
        }
        // 输出缓冲区准备读取
        outputBuffer.flip();
    }
}
相关推荐
字节跳动视频云技术团队10 小时前
从 VCloud 到 Agentic VCloud:Agent 时代的范式重构
人工智能·音视频开发
Bigger5 天前
我写了一个AI图像视频生成工具,免费API+本地部署,分享给大家
人工智能·图像识别·音视频开发
ltlovezh14 天前
ROI 编码学习指南:Android 与 FFmpeg 的真实实现边界
android·ffmpeg·音视频开发
iOStanhaitao16 天前
23.视频播放器项目实战-音视频播放
音视频开发
iOStanhaitao16 天前
6.第一个c++安卓程序编译运行
音视频开发
音视频牛哥24 天前
不只是等待 IDR:SmartMediaKit 播放器对 H.264 GDR 码流的完整适配实践
音视频开发·视频编码·直播
三木彤1 个月前
语音转文本python
音视频开发
鹧鸪晏1 个月前
Android GLSurfaceView 完全指南
android·音视频开发
ltlovezh1 个月前
AAC 元数据:ADTS 与 ASC 的区别、转换和常见坑
后端·ffmpeg·音视频开发
MonkeyKing1 个月前
iOS 音频实战:边播边缓存、预加载与断点续播完整实现
音视频开发