Media3 ExoPlayer扩展切换声道能力

ExoPlayer并没有提供切换左右声道的接口,对于单音轨歌曲切换原伴唱就需要自己实现切换左右声道的能力了。

1.音频存储

PCM (脉冲编码调制)是音频的原始数字表示形式,对于立体声(双声道),其数据通常是交错存储的。

一个 16 位(2 字节)、44.1kHz 的立体声 PCM 数据流,它的排列会是这样的:

css 复制代码
[左声道样本1字节1][左声道样本1字节2][右声道样本1字节1][右声道样本1字节2][左声道样本2字节1][左声道样本2字节2][右声道样本2字节1][右声道样本2字节2]...

可以简化为: L1, R1, L2, R2, L3, R3, ...

2.实现方式

基于上述格式,我们可以通过不同的算法来实现 "切换左声道" 的效果:

以右声道为例:让左声道没有声音,原始:L1, R1, L2, R2, ... 处理后:0, R1, 0, R2, ...

或者左右声道都填充左声道,保持立体声和简化计算,原始:L1, R1, L2, R2, ... 处理后:L1, L1, L2, L2, ...

3.音频处理流程

AudioProcessor 采用处理器链(AudioProcessorChain)设计模式。它可以将解码后的音频数据通过一系列处理器转换后输出到 AudioTrack。开发者可以自定义 AudioProcessor 插入处理链,以实现对音频数据的特定处理,如切换左右声道。

4.AudioProcessor

AudioProcessor 是 ExoPlayer 中负责音频数据处理的核心组件之一,核心方法包括:

  • configure():初始化处理器(传入音频的采样率、声道数、编码格式)
  • isActive():返回处理器是否处于激活状态(如 "仅立体声时才处理声道切换")
  • queueInput(ByteBuffer):接收输入的音频数据,在这里实现自定义处理逻辑(比如修改声道数据)
  • getOutput():返回处理后的音频数据。
  • flush()/reset():用于播放器状态切换(如暂停、停止)时清空缓冲区、重置状态。

当然ExoPlayer还提供了音频处理器的基类BaseAudioProcessor , 会把 AudioProcessor 接口的复杂逻辑封装,只暴露几个核心抽象方法。

5.代码实现

因为ExoPlayer默认走会ToInt16PcmAudioProcessor , 将不同格式的PCM音频编码转换为16位PCM格式,只处理16位PCM立体声音频数据。

Java 复制代码
@UnstableApi
public class SwitchChannelAudioProcessor extends BaseAudioProcessor {

    private static final String TAG = "SwitchChannelProcessor";

    /**
     * 表示每个声道的字节数
     */
    private int bytesPerChannel;

    /**
     * 当前声道模式
     */
    private int channelMode = C.CHANNEL_MODE_NONE;

    /**
     * 设置声道模式
     *
     * @param mode 声道模式
     */
    public void setAudioChannelMode(int mode) {
        this.channelMode = mode;
    }

    @Override
    protected AudioFormat onConfigure(AudioFormat inputAudioFormat)
            throws UnhandledAudioFormatException {
        Log.d(TAG, "onConfigure inputAudioFormat:" + inputAudioFormat);
        // 只处理16位PCM立体声音频数据 
        if (inputAudioFormat.channelCount != 2 || inputAudioFormat.encoding != C.ENCODING_PCM_16BIT) {
            return AudioFormat.NOT_SET;
        }
        this.bytesPerChannel = Util.getPcmFrameSize(inputAudioFormat.encoding, 1);
        return inputAudioFormat;
    }

    @Override
    public void queueInput(@NonNull ByteBuffer inputBuffer) {
        // 判断输入缓冲区是否为空
        int remaining = inputBuffer.remaining();
        if (remaining == 0) {
            return;
        }
        // 获取输入缓冲区的剩余字节数
        int position = inputBuffer.position();
        int limit = inputBuffer.limit();
        int size = limit - position;
        // 创建输出缓冲区
        ByteBuffer outputBuffer = replaceOutputBuffer(size);
        try {
            // 立体声模式(包括默认情况)
            if (channelMode == C.CHANNEL_MODE_NONE || channelMode == C.CHANNEL_MODE_STEREO) {
                // 直接复制输入数据到输出缓冲区
                outputBuffer.put(inputBuffer);
            } else {
                // 处理PCM数据
                while (position <= limit - bytesPerChannel * 2) {
                    // 读取左声道数据(前x字节)
                    short leftSample = inputBuffer.getShort(position);
                    position += bytesPerChannel;

                    // 读取右声道数据(后x字节)
                    short rightSample = inputBuffer.getShort(position);
                    position += bytesPerChannel;

                    // 根据声道模式处理数据
                    switch (channelMode) {
                        case C.CHANNEL_MODE_LEFT_ONLY:
                            // 仅左声道
                            outputBuffer.putShort(leftSample);
                            outputBuffer.putShort(leftSample);
                            break;
                        case C.CHANNEL_MODE_RIGHT_ONLY:
                            // 仅右声道
                            outputBuffer.putShort(rightSample);
                            outputBuffer.putShort(rightSample);
                            break;
                        case C.CHANNEL_MODE_SWAP:
                            // 声道反转:左右声道互换
                            outputBuffer.putShort(rightSample);
                            outputBuffer.putShort(leftSample);
                            break;
                    }
                }
                //更新输入缓冲区位置
                inputBuffer.position(position);
            }
        } catch (Exception e) {
            Log.e(TAG, "Error processing audio data", e);
            inputBuffer.position(limit);
        }
        // 输出缓冲区准备读取
        outputBuffer.flip();
    }
}
相关推荐
mortimer6 天前
Python + FFmpeg 视频自动化处理指南:从硬件加速到精确剪辑
python·ffmpeg·音视频开发
否子戈7 天前
做中国人自己的视频编辑UI框架,WebCut正式开源
前端框架·音视频开发·视频编码
音视频牛哥8 天前
从低延迟到高可用:RTMP与 HTTP/HTTPS-FLV在App播放体系中的角色重构
人工智能·音视频·音视频开发·http-flv播放器·https-flv播放器·ws-flv播放器·wss-flv播放器
音视频牛哥13 天前
轻量级RTSP服务的工程化设计与应用:从移动端到边缘设备的实时媒体架构
人工智能·计算机视觉·音视频·音视频开发·rtsp播放器·安卓rtsp服务器·安卓实现ipc功能
快乐10114 天前
Media3 ExoPlayer无法播放不带.m3u8后缀hls媒资
音视频开发
_AaronWong15 天前
基于 Vue 3 的屏幕音频捕获实现:从原理到实践
前端·vue.js·音视频开发
快手技术17 天前
超越 VTM-RA!快手双向智能视频编码器 BRHVC 亮相 NeurIPS2025
音视频开发
yangguang21 天前
音视频开发全景图:播放器是怎样炼成的
音视频开发
政采云技术1 个月前
音视频通用组件设计探索和应用
前端·音视频开发