音频算法基础(语音识别 / 降噪 / 分离)

秋招抱佛脚之作,大纲由GPT提供,内容由博主本人整理。

日更直到拿到满意的offer为止。

1. 声学与信号基础

采样率、Nyquist 定理 ★★★★★

采样率:

Nyquist定理:

短时傅里叶变换(STFT/ISTFT) ★★★★★

短时傅里叶变换:由于自然中的音频信号为在时间上连续的波形,为了便于处理,需要将其通过傅里叶变换得到离散的信号。

Mel 频率与 Mel 滤波器组 ★★★★★

MFCC(梅尔倒谱系数)、CQT(常Q变换) ★★★★★

窗函数(Hann、Hamming)与 N_FFT、Hop Length 参数含义 ★★★★★

2. 语音识别(ASR)

CTC 原理(对齐、空白符、Beam Search) ★★★★★

Attention-CTC 混合模型 ★★★★☆

Transducer(RNN-T)结构 ★★★★☆

Whisper 模型(大规模多语言语音识别) ★★★★☆

VAD(语音活动检测)与流式识别 ★★★★★

3. 音频增强与降噪

传统方法:谱减法、Wiener 滤波 ★★★☆☆

深度方法:Conv-TasNet、Demucs、DCCRN、SEGAN ★★★★☆

自监督降噪方法(Noisy Student、Noise2Noise) ★★★☆☆

多通道阵列与波束形成(Beamforming) ★★★☆☆

4. 声源分离与多模态

盲源分离(ICA) ★★★☆☆

音视频联合建模(Lip reading, AV-Hubert) ★★★☆☆

多模态对齐(早融合、后融合、联合嵌入) ★★★☆☆

5. 评价指标与应用

  • PESQ(感知语音质量)、STOI(可懂度指标)、SNR ★★★★★

  • WER(字错误率)、CER(字符错误率) ★★★★★

  • 端到端与模块化系统的优缺点对比 ★★★☆☆

相关推荐
仍然.5 分钟前
算法题目---BFS解决最短路问题
算法·宽度优先
渡众机器人7 分钟前
第八届全球校园人工智能算法精英大赛-算法应用赛-空地协同侦排挑战赛规则
人工智能·算法
wayz1118 分钟前
Overlap:HWMA(Holt-Winter移动平均线)技术指标详解
算法·金融·数据分析·量化交易·特征工程
Shadow(⊙o⊙)35 分钟前
专题四:前缀和
数据结构·算法
JAVA面经实录91742 分钟前
高频算法面试题
java·计算机网络·算法·面试
qq_4523962344 分钟前
第十一篇:《资源管理:Requests/Limits、ResourceQuota、LimitRange》
算法·贪心算法
Tisfy1 小时前
LeetCode 2095.删除链表的中间节点:两次遍历 / 一次遍历(快慢指针)
算法·leetcode·链表·题解·双指针
学编程的小程1 小时前
以前做视频靠时间,现在做视频靠提示词——Codex+Remotion体验记
音视频
鸽芷咕1 小时前
鸿蒙PC迁移:MoonPlayer Qt 视频播放器鸿蒙PC适配全记录
qt·音视频·harmonyos
Irissgwe1 小时前
AVL树详解
数据结构·c++·算法·二叉树·c·二叉搜索树·avl