Machine Learning Engineering Open Book 机器学习工程开放书

文章目录


一、关于 Machine Learning Engineering Open Book

这是一个开放的方法、工具和分步说明集合,有助于成功训练和微调大型语言模型和多模态模型及其推理。

这是一份适合LLM/VLM培训工程师和操作员的技术材料。这里的内容包含大量脚本和n-粘贴命令,使您能够快速满足您的需求。

这个存储库是我训练大型语言模型(LLM)(和VLM)的经验的持续大脑转储;我在2022年训练开源BLOOM-176B模型和2023年训练IDEFICS-80B多模态模型以及2024年训练RAG模型时获得的许多专业知识。Contextual.AI

我一直在为自己编译这些信息,这样我就可以快速找到我过去已经研究过并且有效的解决方案,但是像往常一样,我很乐意与更广泛的机器学习社区分享这些笔记。


二、书籍目录

第1部分 见解

  1. 人工智能战场工程------你需要知道什么才能成功。
  2. 如何选择云提供商-这些问题将使您获得成功的计算云体验。

第2部分 硬件

  1. 计算-加速器,CPU,CPU内存。
  2. 存储-本地、分布式和共享文件系统。
  3. 网络-节点内和节点间网络。

第3部分 编排

  1. 编排系统-管理容器和资源
  2. SLURM-资源管理的简单Linux工具

第4部分 训练

  1. 训练- 模型培训相关指南

第5部分 推理

  1. 推理- 模型推理洞察

第6部分 开发

  1. 调试和故障排除-如何调试简单和困难的问题
  2. 还有更多的调试
  3. 测试------让测试写作变得愉快的众多技巧和工具

第7部分 杂项

  1. 资源-LLM/VLM编年史

三、关键对照表

高端加速器:

网络:


四、快捷方式

你可能需要快速经常找到的东西。

工具:

指南:


2025-01-27(一)

相关推荐
数据与人工智能律师6 分钟前
数字资产革命中的信任之锚:RWA法律架构的隐形密码
大数据·网络·人工智能·云计算·区块链
CHANG_THE_WORLD18 分钟前
封装一个png的编码解码操作
图像处理·人工智能·计算机视觉
赛丽曼31 分钟前
Assistant API的原理及应用
人工智能·chatgpt
Yo_Becky1 小时前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
DeepSeek-大模型系统教程1 小时前
深入金融与多模态场景实战:金融文档分块技术与案例汇总
人工智能·ai·语言模型·程序员·大模型·大模型学习·大模型教程
xinxiangwangzhi_1 小时前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
yzx9910131 小时前
关于网络协议
网络·人工智能·python·网络协议
AiTEN_Robot1 小时前
AGV 无人叉车关键技术问题解析:精准定位算法 / 安全避障逻辑 / 系统对接协议全方案
人工智能·机器人·自动化·制造
云天徽上1 小时前
【PaddleOCR】OCR常见关键信息抽取数据集,包含FUNSD、XFUND、WildReceipt等整理,持续更新中......
人工智能·计算机视觉·信息可视化·paddlepaddle·paddleocr·文本识别
zskj_zhyl1 小时前
智绅科技:以科技为翼,构建养老安全守护网
人工智能·科技·安全