Machine Learning Engineering Open Book 机器学习工程开放书

文章目录

• • [一、关于 Machine Learning Engineering Open Book](#一、关于 Machine Learning Engineering Open Book)
  • 二、书籍目录
  • 三、关键对照表
  • 四、快捷方式

---

一、关于 Machine Learning Engineering Open Book

这是一个开放的方法、工具和分步说明集合，有助于成功训练和微调大型语言模型和多模态模型及其推理。

这是一份适合LLM/VLM培训工程师和操作员的技术材料。这里的内容包含大量脚本和n-粘贴命令，使您能够快速满足您的需求。

这个存储库是我训练大型语言模型（LLM）（和VLM）的经验的持续大脑转储；我在2022年训练开源BLOOM-176B模型和2023年训练IDEFICS-80B多模态模型以及2024年训练RAG模型时获得的许多专业知识。Contextual.AI。

我一直在为自己编译这些信息，这样我就可以快速找到我过去已经研究过并且有效的解决方案，但是像往常一样，我很乐意与更广泛的机器学习社区分享这些笔记。

• github : https://github.com/stas00/ml-engineering
• PDF 版本： https://huggingface.co/stas/ml-engineering-book/resolve/main/Stas Bekman - Machine Learning Engineering.pdf
• 更新请关注：https://twitter.com/StasBekman
• 欢迎讨论分享：https://github.com/stas00/ml-engineering/discussions

---

二、书籍目录

第1部分 见解

1. 人工智能战场工程------你需要知道什么才能成功。
2. 如何选择云提供商-这些问题将使您获得成功的计算云体验。

第2部分 硬件

1. 计算-加速器，CPU，CPU内存。
2. 存储-本地、分布式和共享文件系统。
3. 网络-节点内和节点间网络。

第3部分 编排

1. 编排系统-管理容器和资源
2. SLURM-资源管理的简单Linux工具

第4部分 训练

1. 训练- 模型培训相关指南

第5部分 推理

1. 推理- 模型推理洞察

第6部分 开发

1. 调试和故障排除-如何调试简单和困难的问题
2. 还有更多的调试
3. 测试------让测试写作变得愉快的众多技巧和工具

第7部分 杂项

1. 资源-LLM/VLM编年史

---

三、关键对照表

高端加速器：

• 理论加速器TFLOPS
• 加速器内存大小和速度

网络：

• 理论节点间速度
• 理论节点内速度

---

四、快捷方式

你可能需要快速经常找到的东西。

工具：

• all_reduce_bench.py-一种比nccl-测试更简单的网络吞吐量基准测试方法。
• torch-distributed-gpu-test.py-快速测试节点间连接的工具
• mamf-finder.py-您可以从加速器获得的实际TFLOPS测量值是多少。

指南：

• 调试pytorch应用程序-解决挂起或中断pytorch应用程序的快速n-粘贴解决方案
• slurm为用户-slurm备忘单和技巧
• 制作微型模型/数据集/标记器
• LLM/VLM编年史收藏

---

2025-01-27（一）