音频算法基础(语音识别 / 降噪 / 分离)

秋招抱佛脚之作,大纲由GPT提供,内容由博主本人整理。

日更直到拿到满意的offer为止。

1. 声学与信号基础

采样率、Nyquist 定理 ★★★★★

采样率:

Nyquist定理:

短时傅里叶变换(STFT/ISTFT) ★★★★★

短时傅里叶变换:由于自然中的音频信号为在时间上连续的波形,为了便于处理,需要将其通过傅里叶变换得到离散的信号。

Mel 频率与 Mel 滤波器组 ★★★★★

MFCC(梅尔倒谱系数)、CQT(常Q变换) ★★★★★

窗函数(Hann、Hamming)与 N_FFT、Hop Length 参数含义 ★★★★★

2. 语音识别(ASR)

CTC 原理(对齐、空白符、Beam Search) ★★★★★

Attention-CTC 混合模型 ★★★★☆

Transducer(RNN-T)结构 ★★★★☆

Whisper 模型(大规模多语言语音识别) ★★★★☆

VAD(语音活动检测)与流式识别 ★★★★★

3. 音频增强与降噪

传统方法:谱减法、Wiener 滤波 ★★★☆☆

深度方法:Conv-TasNet、Demucs、DCCRN、SEGAN ★★★★☆

自监督降噪方法(Noisy Student、Noise2Noise) ★★★☆☆

多通道阵列与波束形成(Beamforming) ★★★☆☆

4. 声源分离与多模态

盲源分离(ICA) ★★★☆☆

音视频联合建模(Lip reading, AV-Hubert) ★★★☆☆

多模态对齐(早融合、后融合、联合嵌入) ★★★☆☆

5. 评价指标与应用

  • PESQ(感知语音质量)、STOI(可懂度指标)、SNR ★★★★★

  • WER(字错误率)、CER(字符错误率) ★★★★★

  • 端到端与模块化系统的优缺点对比 ★★★☆☆

相关推荐
Wilbert Lee3 分钟前
关于 Adobe Audition CC 2018 多轨音频 VBR 格式导出时长的问题
adobe·音视频
水木流年追梦21 分钟前
大模型入门-大模型的推理策略
开发语言·python·算法·正则表达式·prompt
生成论实验室23 分钟前
用事件关系网络重新理解AI(三):激活函数、微调与元学习
人工智能·学习·算法·语言模型·可信计算技术
Narv工程师24 分钟前
嵌入式机器人控制器算力评估:从DMIPS到WCET的完整指南
人工智能·算法·机器学习
蒟蒻的贤26 分钟前
实训1227
算法
searchforAI26 分钟前
AI多模态技术:从语音识别到AI结构化笔记是怎么实现的
人工智能·经验分享·笔记·gpt·whisper·语音识别
liulilittle30 分钟前
TCP UCP:基于卡尔曼滤波的BBR增强型拥塞控制算法
linux·网络·c++·tcp/ip·算法·c·通讯
LCG元31 分钟前
RAG - 大模型检索增强生成深度解析:本地知识库 / 企业级落地优化配置
人工智能·算法
龙佚34 分钟前
RTC语音质量优化实战:搭建完整语音系统
算法·架构
过期动态35 分钟前
【LeetCode 热题 100】字母异位分组
java·算法·leetcode·职场和发展·哈希算法