RV1126 音频AI模块的详解

一.什么是音频AI模块

RV1126的AI模块指的是音频输入模块 ,它的作用是通过内置芯片读取麦克风等音频的模拟信号,然后把音频模拟信号转换成数字信号。在RV1126里面,音频AI模块是所有音频输入的入口。下面是AI模块和麦克风等音频输入模块的关系

  • AI 模块结构体的重要参数

下面是AI_CHN_ATTR_S 结构体的成员变量

pcAudioNode : AUDIO音频节点,默认是default

enSampleFormat : 采样格式,下面是RV1126的提供的采样格式,下面好多种采样格式,我们来分别讲解一下:

RK_SAMPLE_FMT_U8: 无符号整型8位采样格式,它是8BIT采样格式的一种,这里的U是unsigned的缩写

RK_SAMPLE_FMT_S16: 整型16位采样格式,它是16IT采样格式,S是signed的缩写

RK_SAMPLE_FMT_S32: 整型32位采样格式,它是32IT采样格式,S是signed的缩写

RK_SAMPLE_FMT_FLT: 利用float格式去采样,它是用浮点型格式进行采样。取值范围是-1.0, 1.0。

RK_SAMPLE_FMT_U8P: 无符号整型8位采样平面格式,这里的****P 表示的是平面格式,平面格式指的是非交错模式 ,如:LLLLLLRRRRRRLLLLLLRRRRRRLLLLLLRRRRRRL

RK_SAMPLE_FMT_S16P: 整型16位采样平面格式,这里的P表示的是平面格式,平面格式指的是非交错模式,如:LLLLLLRRRRRRLLLLLLRRRRRRLLLLLLRRRRRRL

RK_SAMPLE_FMT_S32P: 整型32位采样平面格式,这里的P表示的是平面格式,平面格式指的是非交错模式,如:LLLLLLRRRRRRLLLLLLRRRRRRLLLLLLRRRRRRL R

RK_SAMPLE_FMT_FLTP: 浮点型采样平面格式,这里的P表示的是平面格式,平面格式指的是非交错模式,如:LLLLLLRRRRRRLLLLLLRRRRRRLLLLLLRRRRRRL

RK_SAMPLE_FMT_G711A: G711A是标准的ITU-T推荐的标准之一**,**采用8位精度进行采样,它主要运用在电话领域。A表示的是将一个13bit的PCM样本压缩成8bit样本

RK_SAMPLE_FMT_G711U: G711U是标准的ITU-T推荐的标准之一**,**采用8位精度进行采样,它主要运用在电话领域。U表示的是将一个14bit的PCM样本压缩成8bit样本。

2.3. u32Channels : 音频通道数,音频默认通道数是****2

2.4. u32SampleRate : 音频采样率,在RV1126里面常用的采样率是16000 、 44100 、 48000 三种。目前在这个开发中,我们用的是****48000,因为48000 采样率的音频效果最好。

2.5. u32NbSample : 每一帧的采样个数,这个参数要和对应的音频编码格式来设置。AAC音频编码格式对应的采样个数是1024,MP3音频编码格式对应的采样个数是1152,其实还有很多。

2.6. enAiLayout : 音频输入布局类型,它提供了三个成员变量选择:AI_LAYOUT_NORMAL、AI_LAYOUT_MIC_REF 、AI_LAYOUT_REF_MIC。 它默认是用的是AI_LAYOUT_NORMAL 类型,默认是AI_LAYOUT_NORMAL。

二.设置AI模块的API

3.1. RK_MPI_AI_SetChnAttr 的功能:

RK_MPI_AI_SetChnAttr功能主要是设置AI通道属性

第一个参数: AI模块的通道号ID,取值范围是0, AI_MAX_CHN_NUM

第二个参数: AI_CHN_ATTR_S结构体指针

3.2. RK_MPI_AI_EnableChn 的功能:

RK_MPI_AI_EnableChn功能主要是打开AI通道

第一个参数: AI模块的通道号ID,这里填的值和设置的通道号一致

3.3. RK_MPI_AI_StartStream 的功能:

RK_MPI_AI_StartStream功能主要是启动AI音频流

第一个参数: AI模块的通道号ID,这里填的值和设置的通道号一致

相关推荐
严肃小白兔8 分钟前
MATLAB 数值计算中的精度与误差问题:浮点运算、误差传播与数值稳定性
人工智能·算法·matlab
AI导出鸭PC端14 分钟前
Perplexity批量导出没有PDF模式?AI导出鸭插件补上最后一块拼图
人工智能·pdf·c#·ai导出鸭
汽车人——Yin22 分钟前
《重构汽车软件基础设施》白皮书核心解读 AUTOSAR、CAPI与AI定义汽车的产业变革
人工智能·autosar·汽车开发
weixin_4684668522 分钟前
视觉Transformer的“第二次革命”:ViT³如何用测试时训练重构注意力范式
人工智能·深度学习·机器学习·ai·重构·transformer·vit
code2cat24 分钟前
【随笔】KV缓存量化:省下的显存,要付出多少数值误差
人工智能·缓存·大语言模型
政安晨1 小时前
【政安晨】嵌入式AI开发实践 —— ESP-Claw 深度拆解:把 AI Agent 塞进 $5 芯片,它是怎么“看见“并“握住“硬件的
人工智能·开源·esp·ai agents·esp-claw·esp-mosaico
卷无止境1 小时前
以 Obsidian 为核心的知识库体系:工具生态、AI 协同与最佳实践方案
人工智能
謓泽1 小时前
【插件】用写网页的方式做视频?HyperFrames 让我重新理解了“做视频“这件事!
gpt·ai·大模型·音视频·媒体·claude·视频
ShuangNaoPai1 小时前
饱和品类的心智词生成:从“新米”认知到“五新米”的判定路由
人工智能·程序人生·产品·思维·品牌营销
星云_byto1 小时前
CSS布局
人工智能·机器学习·目标跟踪·1024程序员节