目录
开发一个大模型的底层工作是一个系统工程，主要涵盖以下核心环节：
数据工程
-
数据收集与清洗：从互联网、书籍、代码库等渠道海量收集文本、代码等多模态数据，并进行严格的去重、去噪、过滤有害信息等清洗工作。
-
数据标注与合成：为指令微调、对齐等阶段准备高质量数据，包括人工标注指令-回答对，或利用模型合成训练数据。
模型架构与设计
-
骨干网络选择：通常基于Transformer架构进行深度定制，如决定层数、注意力头数、隐藏层维度等超参数。
-
训练目标设计：核心是自回归语言建模（预测下一个词），但会融入多种预训练任务以提升模型能力。
大规模训练
-
分布式训练框架：使用如Megatron-LM、DeepSpeed等框架，将模型和数据进行切分，部署在成千上万的GPU集群上进行并行训练。
-
训练稳定性与优化：解决混合精度训练中的数值稳定性问题，设计学习率调度策略，并持续监控损失曲线和模型状态。
对齐与优化
-
指令微调：使用高质量的指令数据对预训练模型进行微调，使其能够理解和遵循人类指令。
-
人类反馈强化学习：通过人类对模型输出的偏好排序来训练奖励模型，并利用RLHF技术进一步对齐模型的价值观和行为，使其更有用、诚实且无害。
部署与推理优化
-
模型压缩与量化：通过知识蒸馏、剪枝、将模型权重从FP16量化到INT8或INT4等技术，大幅降低模型部署所需的存储和计算资源。
-
高性能推理引擎：开发或使用优化过的推理框架（如vLLM、TGI），实现动态批处理、持续批处理、注意力优化等，以提升吞吐量并降低延迟。
简单来说，底层工作是从"数据准备"开始，经历"模型设计与训练"、"对齐优化"，最终到"高效部署"的完整技术链条，每一步都涉及大量的工程与算法创新。