音频算法基础(语音识别 / 降噪 / 分离)

秋招抱佛脚之作,大纲由GPT提供,内容由博主本人整理。

日更直到拿到满意的offer为止。

1. 声学与信号基础

采样率、Nyquist 定理 ★★★★★

采样率:

Nyquist定理:

短时傅里叶变换(STFT/ISTFT) ★★★★★

短时傅里叶变换:由于自然中的音频信号为在时间上连续的波形,为了便于处理,需要将其通过傅里叶变换得到离散的信号。

Mel 频率与 Mel 滤波器组 ★★★★★

MFCC(梅尔倒谱系数)、CQT(常Q变换) ★★★★★

窗函数(Hann、Hamming)与 N_FFT、Hop Length 参数含义 ★★★★★

2. 语音识别(ASR)

CTC 原理(对齐、空白符、Beam Search) ★★★★★

Attention-CTC 混合模型 ★★★★☆

Transducer(RNN-T)结构 ★★★★☆

Whisper 模型(大规模多语言语音识别) ★★★★☆

VAD(语音活动检测)与流式识别 ★★★★★

3. 音频增强与降噪

传统方法:谱减法、Wiener 滤波 ★★★☆☆

深度方法:Conv-TasNet、Demucs、DCCRN、SEGAN ★★★★☆

自监督降噪方法(Noisy Student、Noise2Noise) ★★★☆☆

多通道阵列与波束形成(Beamforming) ★★★☆☆

4. 声源分离与多模态

盲源分离(ICA) ★★★☆☆

音视频联合建模(Lip reading, AV-Hubert) ★★★☆☆

多模态对齐(早融合、后融合、联合嵌入) ★★★☆☆

5. 评价指标与应用

  • PESQ(感知语音质量)、STOI(可懂度指标)、SNR ★★★★★

  • WER(字错误率)、CER(字符错误率) ★★★★★

  • 端到端与模块化系统的优缺点对比 ★★★☆☆

相关推荐
Sayai7 小时前
ComfyUI+混元视频实战:12G 显存跑 13G 模型,5 分钟出片(国产开源,附模型与工作流)
人工智能·aigc·音视频·comfyui·hunyuanvideo·混元视频
hanlin038 小时前
刷题笔记:力扣第32题-最长有效括号
笔记·算法·leetcode
All for pursuit.8 小时前
【动态规划-21】312.戳气球
数据结构·c++·算法·leetcode·动态规划
ACP广源盛1392462567310 小时前
项目评估记录:4K 视频墙方案调研,GSV9001E @ACP参数与工程问题记录
硬件架构·音视频·硬件工程·视频·国产芯片
碧海银沙音频科技研究院11 小时前
基于炬芯ATS3089X自研AEC声学回声消除算法
算法
hey you~11 小时前
2026年大模型语音机器人知识库导入与调优全指南:从切分到重排序的7个关键步骤
人工智能·机器人·语音识别·向量检索·rag·知识库导入·知识库调优
通问AI11 小时前
在两台 Mac Studio 上跑 800B 模型:MLX + RDMA over Thunderbolt 实测与四道门选型法
算法
ZywOo62311 小时前
《算法竞赛进阶指南》0x03 前缀和与差分
算法
Scintilla_y11 小时前
DAY2 滑动窗口
算法·leetcode·散列表
lvwangshu11 小时前
笛卡尔树
算法·图论