技术栈
训练加速
可乐ea
10 天前
性能优化
·
模型微调
·
训练加速
·
fsdp2
·
数据打包
微调提速 6 倍：Qwen 27B 从 7 小时 44 分到 1 小时 17 分
原文：Databricks Blog - 《Reducing Qwen training time by 6x on AI Runtime》（https://www.databricks.com/blog/reducing-qwen-training-time-6x-ai-runtime）
百度智能云技术站
2 年前
transformer
·
llama
·
百度智能云
·
百度百舸
·
训练加速
如何定量分析 Llama 3，大模型系统工程师视角的 Transformer 架构
读完全文后，你将获得回答以下问题的能力（参考答案，请见最后一章节）：Llama 3 技术博客说 70B 模型、最长序列 8K、15T Tokens，训练了 640w GPU 时，这发挥了 H100 理论算力（989TFlops）的百分之多少?
我是有底线的