阅前声明：
本文是笔者阅读相关文章后，按个人理解的总结。如有不正之处，欢迎指正！
参考文章：
https://zhuanlan.zhihu.com/p/674698482
MLLM的训练过程：
MMLLM训练过程中，主要包含三个步骤：预训练->指令微调->对齐微调
这三个步骤的主要功能分别是：
预训练 ：基于一般的LLM模型，模态编码器，模态接口，这一步主要的功能实现MLLM对多模态的通用世界知识的认识；
指令微调：区别于一般的SFT（有监督微调）方法，使用"指令"辅助训练（也即类似提示词工程），提升MLLM的泛化能力。实现zero-shot的能力（即零样本性能，在没有经历过训练的数据上也能有较好的表现）。
对齐微调：这一步相当于对MLLM模型能力的进一步修正，约束模型的输出范围，让模型的输出更加规范，符合人类社会的伦理要求之类。换言之，就是要让模型的输出符合人类偏好，修正模型的不良行为。
个人理解，对齐微调有点类似LLM中的RAG功能，让MLLM只输出某个范围内的知识。
下面进一步介绍一下这三个步骤的主要内容：
预训练：
预训练过程主要包含三个结构：LLM模型，模态编码器，模态接口
LLM：
传统的LLM只有文本输入文本输出的功能，输入端和输出端的数据类型都是文本。LLM作为MLLM的关键结构之一，如何让LLM能够理解其他类型的数据，这是关键的一步，这一步的实现主要依靠模态编码器。
另外，关于LLM，这里有一点就是LLM的架构问题。一般分为密集型模型架构和稀疏模型架构。这两种架构的区别在于："训练时有多少比例的模型参数会被激活参与计算"。有点类似于传统神经网络中的drop_out操作。主流的稀疏模型架构就是混合专家模型（MoE），其主要还是基于Transformer架构。具体这种模型是什么原理，如何实现稀疏训练的，读者可自行了解。使用稀疏模型的一个好处就是：可以选择性的激活参数来扩展总参数大小，而不会增加计算成本。这种架构貌似正成为主流。
模态编码器：
这个模型的结构其实就是将不同类型的数据进行转化。一般是通过向量化，映射到语义空间的方式，然后通过训练，尽可能将其他数据类型的语义向量和文本向量在语义空间进行对齐。这部分可以参考我的另外一篇关于"语义空间"的介绍。
这里有非常多的经典模态编码器，如CLIP等。许多MLLM都是直接使用这些经典的预训练模态编码器的。
模态接口：
前文提到，模态编码器是将具有相同含义的不同类型数据映射到一个语义空间，让这些数据所对应的语义向量尽可能的接近。但这还并不能将其他数据类型和文本数据类型衔接起来，然后输入到LLM中训练。比如，"一张画有猫的图片"和"这是一只猫的文本"，尽管通过模态编码器，这两个数据所对应的语义向量在语义空间非常接近，但他们仍无法重合，无法关联起来。虽然他们很近，但MLLM并不知道这二者可以是等同。此时，就需要模态接口，模态接口就相当于将这两个向量进行映射，使他们一一对应起来。让"一张画有猫的图片"和"这是一只猫的文本"所对应的两个语义向量具有等同关系。
模态编码器经过大量的训练，就能够知道该将哪些语义向量关联起来。这样，就实现了其他类型数据到文本类型数据的转化。
最后，关联起来之后，一种常见的处理方式就是将模态编码器输出的特征转化为token和文本token连接在一起，输入给LLM进行下一步的处理。
指令微调：
这里的"指令"其实是一种标准结构化的数据类型，也即是一些模版数据，数据集就是许多条指令。用这些数据去进行微调训练，这种训练方式有点类似于提示词功能。这里需要介绍一下传统的SFT（监督微调）和指令微调训练的区别，以及为什么在MLLM的训练中使用这种微调方式。
指令数据具有类似这样的结构：
介绍:<用户的问题>
输入:{<图片>,<文本>...}
输出:<...>
首先，这里需要注意的一点是，指令微调也是一种监督学习策略。只不过他和一般的监测学习策略有些不同。
比如，对于一条指令训练数据 ，假设指令的问题部分是："将这段文本分类为消极或积极"，另外一个指令数据的问题部分是："判断这段文本的情感倾向"。通过提供大量这种表达方式不同，但含义相同的句子，模型通过学习就能够自动总结出这些句子的核心要点，当出现一个含义相同即使陌生的问题时，MLLM也能够题解"问题"是什么，这就显著提高了模型的泛化能力和Zero-Shot能力。这里和一般的监督学习不同的点在于，通过指令这种数据格式，训练的过程其实是利用LLM对自然语言的理解能力的。这就像在训练一个已经掌握知识的学生，老师只需要通过指令的形式进行点拨，就能理解和完成新的任务。
而传统的监督学习，需要在大量的数据和标签中，进行一一映射的关系学习，这个过程往往是从空白开始的，且在训练的过程中，并没有对模型本身能力的复用。此外，传统监督模型，本质上是模型在记忆许多输入和输出关系的映射，当训练数据不足时，模型的泛化能力往往很差。而指令微调训练的模型，可以根据语义和逻辑，结合自身知识进行推理和响应，泛化能力更前。
对齐微调：
关于对齐微调，主要的方法有：强化学习与人类反馈（RLHF）和直接偏好优化（DPO）。
对于对齐微调这一步的目的并不难理解，再具体实现上，归根到底还是有奖有罚类的监督学习，让模型的输出符合人类要求规范，在此不做进一步的介绍。
写在最后：
在简单了解了MLLM的原理后，笔者其实对于现有的传统神经网络算法产生了一定担忧。在最初，原以为多模态大语言模型是采用传统视觉模型/音频模型等+LLM的方式实现。但现实是：其将数据采取了新的利用方式，将多模态的数据token化了去处理。这种处理方式和传统的神经网络算法是完全不同的。
笔者近期也测试了豆包的MLLM，发现其对数字识别，图像分类，危险检测等这些粗粒度领域的视觉问题，有非常高的准确度，而且对图片的质量要求，鲁棒性，域自适应能力都非常强。这对于该领域的传统神经网络方法是一个巨大的打击。也无法否认，现在大模型方向越来越主流。
但值得庆幸的是，对于一些细粒度问题，以及生成需求上，现阶段的MLLM还不能够很好的胜任。比如一个非常简单的任务：利用红色检测框，圈出图片中的某个物体，返回处理后的图像。MLLM不仅无法准确圈出目标对象，甚至还会修改原始输入的图片。
究其原因，现阶段的大模型对于多模态->文本的理解，这一步已经做的越来越好了；但是对于文本理解->多模态，仍有较大的提升空间。且本质上，这是一个将图片数据打散又重新还原的过程，目前还存在较大问题。