Media3 ExoPlayer扩展切换声道能力

ExoPlayer并没有提供切换左右声道的接口,对于单音轨歌曲切换原伴唱就需要自己实现切换左右声道的能力了。

1.音频存储

PCM (脉冲编码调制)是音频的原始数字表示形式,对于立体声(双声道),其数据通常是交错存储的。

一个 16 位(2 字节)、44.1kHz 的立体声 PCM 数据流,它的排列会是这样的:

css 复制代码
[左声道样本1字节1][左声道样本1字节2][右声道样本1字节1][右声道样本1字节2][左声道样本2字节1][左声道样本2字节2][右声道样本2字节1][右声道样本2字节2]...

可以简化为: L1, R1, L2, R2, L3, R3, ...

2.实现方式

基于上述格式,我们可以通过不同的算法来实现 "切换左声道" 的效果:

以右声道为例:让左声道没有声音,原始:L1, R1, L2, R2, ... 处理后:0, R1, 0, R2, ...

或者左右声道都填充左声道,保持立体声和简化计算,原始:L1, R1, L2, R2, ... 处理后:L1, L1, L2, L2, ...

3.音频处理流程

AudioProcessor 采用处理器链(AudioProcessorChain)设计模式。它可以将解码后的音频数据通过一系列处理器转换后输出到 AudioTrack。开发者可以自定义 AudioProcessor 插入处理链,以实现对音频数据的特定处理,如切换左右声道。

4.AudioProcessor

AudioProcessor 是 ExoPlayer 中负责音频数据处理的核心组件之一,核心方法包括:

  • configure():初始化处理器(传入音频的采样率、声道数、编码格式)
  • isActive():返回处理器是否处于激活状态(如 "仅立体声时才处理声道切换")
  • queueInput(ByteBuffer):接收输入的音频数据,在这里实现自定义处理逻辑(比如修改声道数据)
  • getOutput():返回处理后的音频数据。
  • flush()/reset():用于播放器状态切换(如暂停、停止)时清空缓冲区、重置状态。

当然ExoPlayer还提供了音频处理器的基类BaseAudioProcessor , 会把 AudioProcessor 接口的复杂逻辑封装,只暴露几个核心抽象方法。

5.代码实现

因为ExoPlayer默认走会ToInt16PcmAudioProcessor , 将不同格式的PCM音频编码转换为16位PCM格式,只处理16位PCM立体声音频数据。

Java 复制代码
@UnstableApi
public class SwitchChannelAudioProcessor extends BaseAudioProcessor {

    private static final String TAG = "SwitchChannelProcessor";

    /**
     * 表示每个声道的字节数
     */
    private int bytesPerChannel;

    /**
     * 当前声道模式
     */
    private int channelMode = C.CHANNEL_MODE_NONE;

    /**
     * 设置声道模式
     *
     * @param mode 声道模式
     */
    public void setAudioChannelMode(int mode) {
        this.channelMode = mode;
    }

    @Override
    protected AudioFormat onConfigure(AudioFormat inputAudioFormat)
            throws UnhandledAudioFormatException {
        Log.d(TAG, "onConfigure inputAudioFormat:" + inputAudioFormat);
        // 只处理16位PCM立体声音频数据 
        if (inputAudioFormat.channelCount != 2 || inputAudioFormat.encoding != C.ENCODING_PCM_16BIT) {
            return AudioFormat.NOT_SET;
        }
        this.bytesPerChannel = Util.getPcmFrameSize(inputAudioFormat.encoding, 1);
        return inputAudioFormat;
    }

    @Override
    public void queueInput(@NonNull ByteBuffer inputBuffer) {
        // 判断输入缓冲区是否为空
        int remaining = inputBuffer.remaining();
        if (remaining == 0) {
            return;
        }
        // 获取输入缓冲区的剩余字节数
        int position = inputBuffer.position();
        int limit = inputBuffer.limit();
        int size = limit - position;
        // 创建输出缓冲区
        ByteBuffer outputBuffer = replaceOutputBuffer(size);
        try {
            // 立体声模式(包括默认情况)
            if (channelMode == C.CHANNEL_MODE_NONE || channelMode == C.CHANNEL_MODE_STEREO) {
                // 直接复制输入数据到输出缓冲区
                outputBuffer.put(inputBuffer);
            } else {
                // 处理PCM数据
                while (position <= limit - bytesPerChannel * 2) {
                    // 读取左声道数据(前x字节)
                    short leftSample = inputBuffer.getShort(position);
                    position += bytesPerChannel;

                    // 读取右声道数据(后x字节)
                    short rightSample = inputBuffer.getShort(position);
                    position += bytesPerChannel;

                    // 根据声道模式处理数据
                    switch (channelMode) {
                        case C.CHANNEL_MODE_LEFT_ONLY:
                            // 仅左声道
                            outputBuffer.putShort(leftSample);
                            outputBuffer.putShort(leftSample);
                            break;
                        case C.CHANNEL_MODE_RIGHT_ONLY:
                            // 仅右声道
                            outputBuffer.putShort(rightSample);
                            outputBuffer.putShort(rightSample);
                            break;
                        case C.CHANNEL_MODE_SWAP:
                            // 声道反转:左右声道互换
                            outputBuffer.putShort(rightSample);
                            outputBuffer.putShort(leftSample);
                            break;
                    }
                }
                //更新输入缓冲区位置
                inputBuffer.position(position);
            }
        } catch (Exception e) {
            Log.e(TAG, "Error processing audio data", e);
            inputBuffer.position(limit);
        }
        // 输出缓冲区准备读取
        outputBuffer.flip();
    }
}
相关推荐
yangguang20 小时前
音视频开发全景图:播放器是怎样炼成的
音视频开发
政采云技术11 天前
音视频通用组件设计探索和应用
前端·音视频开发
Android疑难杂症12 天前
鸿蒙Media Kit媒体服务开发快速指南
android·harmonyos·音视频开发
mortimer13 天前
一键实现人声伴奏分离:基于 `uv`, `FFmpeg` 和 `audio-separator` 的高效解决方案
python·ffmpeg·音视频开发
音视频牛哥13 天前
全面解读Android平台GB28181接入方案:SmartGBD的技术实现与应用
音视频开发·视频编码·直播
音视频牛哥14 天前
RTSP|RTMP|GB28181深度解读:如何构建系统级实时视频链路
音视频开发·视频编码·直播
音视频牛哥15 天前
SmartMediaKit:如何让智能系统早人一步“跟上现实”的时间架构--从实时流媒体到系统智能的演进
人工智能·计算机视觉·音视频·音视频开发·具身智能·十五五规划具身智能·smartmediakit
快乐10115 天前
Media3 ExoPlayer有声音无画面分析
音视频开发
mortimer16 天前
视频翻译中的最后一公里:口型匹配为何如此难
openai·音视频开发·视频编码