音频知识基础

音频知识基础

声音属性

响度

响度是人耳对声音强弱的主观感受;

主要和声波的振幅相关,同时也和频率有一定关系;

音调

音调是人耳对声音高低的主观感受;

主要与频率相关;

音色

音色主要和频谱相关

纯音:单一频率,自然界多为复合音;

复合音:由频率、振幅、相位正弦波叠加而成(基音、谐音)

复制代码
声音测试中根据声音属性进行主观评测;

声音度量

  1. 声压:声波振动引起的大气压强变化称为声压,单位Pa;
  2. 声压级:人耳对声压感觉与声压的大小成对数关系,因此用声压比的对数来表示声音的强弱(单位dB);

人耳特性

人耳声音特性:

  1. 听觉范围:20Hz~20000Hz;
  2. 掩蔽效应
    频域掩蔽:强音会掩蔽其频率附近的弱音;
    时域掩蔽:由于人脑处理信息耗时,时间上相邻声音之间的掩蔽现象
  3. 哈斯效应:延迟音小于30ms,感觉声音都来自未延迟的声源,延迟音大于30ms,但小于50ms,可感知延时的声源,但其方向仍在未延迟声源的方向,延迟音大于50ms,可清晰感知回音;
  4. 双耳定位:利用双耳收到声音的强度差、时间差、相位差判断声源的方向

应用:根据人耳特性,进行音频编码压缩,音效处理,剧场影院布置等;

通道数

单声道

立体声:左右2个声道

四声环绕:4个发音点,前左、前右、后左、后右

5.1声道:中置、左前、右前、左后环绕、右后环绕,外加一个低音炮(0.1);

7.1声道:增加左、右环绕

音频数字化

一个自然接的声音是模拟信号,通过MIC收录,将声音(如说话声、乐器声、环境声等)转换为电信号,经ADC对模拟电信号进行PCM编码转换成数字信号,常用的是PCM编码,可以将PCM编码后的数据,存储成wav音频文件,所有音频数据的传输,处理都是编码后的,其中PCM编码过程如下:
1. 采样:

按照一定的采样率(如44.1kHz或48kHz)对模拟信号进行采样,得到一系列时间上离散的样点。

2. 量化:

将每个采样点的幅度值转换为有限数量的离散值。量化位数决定了量化级别的数量,例如16位量化可以表示65,536个不同的幅度级别。

3. 编码:

将量化后的每个离散幅度值转换为二进制代码。这个过程称为编码。编码后的数据是数字信号,可以被数字系统存储、处理和传输。通常会有一定的比特深度(如 8-bit、16-bit、24-bit 等),比特深度决定了数字值的范围和精度。

假设我们有一个模拟信号,采样率为44.1kHz,量化位数为16位:

  • 采样:每秒采样44,100次,得到44,100个样点。
  • 量化:将每个样点的幅度值量化为16位的离散值(0到65,535)。
  • 编码:将每个量化值转换为16位的二进制代码,生成PCM数据流。

传输接口

上述PCM编码过程一般都在codec中完成,输出的是PCM数据,而PCM 数据的实际传输可通过多种协议实现,如 I2S、TDM、AES/EBU 等。 想将PCM数据进行音频算法处理,或者存储成音频文件,都需要传输到CPU,这就需要codec芯片和CPU芯片之间使用硬件传输接口,比如PCM接口:

PCM编码:是一种将模拟信号转换为数字信号的方法,负责将模拟信号转换为数字信号。

PCM接口:是一种用于传输PCM编码数据的硬件或协议接口,负责将PCM编码的数字音频数据从一个设备传输到另一个设备。

传输协议一般都包含物理层的实现,它会定义需要几组gpio,引脚的电气特性等,比如PCM、I2S、TDM在有些硬件平台上,会设计成gpio兼容(都需要时钟信号,帧同步信号,数据信号引脚)

相关推荐
uncle_ll4 小时前
李宏毅NLP-8-语音模型
人工智能·自然语言处理·语音识别·语音模型·lm
站在巨人肩膀上的码农6 小时前
全志T507 音频ALSA核心层注册流程分析
驱动开发·音视频·安卓·全志·alsa·声卡
whoarethenext10 小时前
使用 C++ 实现 MFCC 特征提取与说话人识别系统
开发语言·c++·语音识别·mfcc
KaiGer66613 小时前
AUTOSAR进阶图解==>AUTOSAR_SWS_V2XFacilities
单片机·汽车·嵌入式·autosar
车载操作系统---攻城狮15 小时前
[驱动开发篇] Can通信快速入门手册 - 应用篇
驱动开发
】余1853816280016 小时前
碰一碰发视频源码搭建与定制化开发:支持OEM
音视频
张晓~1833994812117 小时前
数字人分身+矩阵系统聚合+碰一碰发视频: 源码搭建-支持OEM
线性代数·矩阵·音视频
山登绝顶我为峰 3(^v^)319 小时前
如何录制带备注的演示文稿(LaTex Beamer + Pympress)
c++·线性代数·算法·计算机·密码学·音视频·latex
却道天凉_好个秋1 天前
音视频学习(三十六):websocket协议总结
websocket·音视频
【余185381628001 天前
碰一碰发视频源码搭建定制化开发:支持OEM
音视频