技术栈
turing
Garfield2005
17 天前
pytorch
·
flashattention
·
turing
·
图灵架构
·
t4
·
2080ti
绕过 FlashAttention-2 限制：在 Turing 架构上使用 PyTorch 实现 FlashAttention
FlashAttention【github】 系列，由斯坦福大学 AI 实验室的 Dao 等人提出，通过巧妙的 I/O 感知算法（I/O-aware algorithm）和自定义的 CUDA 内核（CUDA kernel）显著提升了 Transformer 模型中注意力机制的训练和推理速度，尤其是在长序列处理方面。
大千AI助手
1 个月前
人工智能
·
密码学
·
图灵
·
turing
·
人工智能之父
·
计算机科学之父
·
图灵机
艾伦·图灵：计算理论与人工智能的奠基人
本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。拒绝神话或妖魔化。搜索「大千AI助手」关注我，一起撕掉过度包装，学习真实的AI技术！
我是有底线的