ai技术应用

SEW-D：语音识别中无监督预训练的性能与效率权衡温馨提示：本篇文章已同步至"AI专题精讲" SEW-D：语音识别中无监督预训练的性能与效率权衡本文研究了自动语音识别（ASR）中预训练模型的性能与效率权衡。我们聚焦于wav2vec 2.0，并形式化了几种影响模型性能和效率的架构设计。通过整合我们的所有观察，我们提出了SEW（Squeezed and Efficient Wav2vec），一种在性能和效率两个维度上均有显著改进的预训练模型架构，适用于多种训练设置。例如，在LibriSpeech的100小时-960小时半监督设置下，SEW与wav2vec

Deja Vu: 利用上下文稀疏性提升大语言模型推理效率温馨提示：本篇文章已同步至"AI专题精讲" Deja Vu: 利用上下文稀疏性提升大语言模型推理效率

CacheGen：用于快速大语言模型推理服务的 KV 缓存压缩与流式传输温馨提示：本篇文章已同步至"AI专题精讲" CacheGen：用于快速大语言模型推理服务的 KV 缓存压缩与流式传输

Idefics3：构建和更好地理解视觉-语言模型：洞察与未来方向温馨提示：本篇文章已同步至"AI专题精讲" Idefics3：构建和更好地理解视觉-语言模型：洞察与未来方向

InstructBLIP：通过指令微调迈向通用视觉-语言模型温馨提示：本篇文章已同步至"AI专题精讲" InstructBLIP：通过指令微调迈向通用视觉-语言模型

BitDistiller：通过自蒸馏释放 Sub-4-Bit 大语言模型的潜力温馨提示：本篇文章已同步至"AI专题精讲" BitDistiller：通过自蒸馏释放 Sub-4-Bit 大语言模型的潜力

DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 实现大语言模型的高吞吐文本生成温馨提示：本篇文章已同步至"AI专题精讲" DeepSpeed-FastGen：通过 MII 和 DeepSpeed-Inference 实现大语言模型的高吞吐文本生成

OAIF：基于在线 AI 反馈的语言模型直接对齐温馨提示：本篇文章已同步至"AI专题精讲" OAIF：基于在线 AI 反馈的语言模型直接对齐直接来自偏好（DAP）的对齐方法（如 DPO）近年来作为人类反馈强化学习（RLHF）的高效替代方案出现，这些方法无需训练单独的奖励模型。然而，DAP 方法中使用的偏好数据集通常是在训练前收集的，并且在训练过程中不会更新，因此反馈是完全离线的。此外，这些数据集中的回答往往来自于与当前被对齐模型不同的语言模型，而由于模型在训练过程中不断变化，对齐阶段不可避免地是离策略（off-policy）的。

CPO：对比偏好优化—突破大型语言模型在机器翻译中的性能边界温馨提示：本篇文章已同步至"AI专题精讲" CPO：对比偏好优化—突破大型语言模型在机器翻译中的性能边界

VISUALBERT：一个简单且高效的视觉与语言基线模型温馨提示：本篇文章已同步至"AI专题精讲" VISUALBERT：一个简单且高效的视觉与语言基线模型