1、基础视觉类模型
视觉类模型主要处理图片和视频，常见任务包括：
-
图像分类：判断图片里是什么。
-
目标检测：不仅识别是什么，还要标出位置。
-
图像理解：理解图片内容并回答问题。
-
图像生成：根据文字或参考图生成新图像。
视觉模型的核心任务 是从像素中提取结构和语义信息，最终完成"看懂"或"生成"图像。
2、基础序列、声音类模型
声音和语音本质上也是一种序列数据，重点在于时间顺序。
相关模型通常用于：
-
语音识别：把语音转成文字。
-
语音合成：把文字转成语音。
-
音频理解：判断说话内容、情绪或事件。
声音模型处理的是随时间变化的信号，因此比静态图片更强调时序关系。
3、图片/视频生成：GAN 与扩散模型
在生成式视觉模型 的发展过程中，GAN 和 扩散模型（Diffusion Model） 是两条非常重要的路线。
GAN 的基本理解
GAN 全称 生成对抗网络。
它由两个部分组成：
-
生成器：负责生成图像。
-
判别器：负责判断图像是真是假。
二者像"造假者"和"鉴定员"一样反复对抗，生成器在不断博弈中学会产出越来越逼真的结果。
GAN 的优势是生成速度快，在局部修补、小范围图像编辑、风格迁移等场景中表现不错。
但 GAN 也有明显局限：当缺失面积较大、主体结构复杂时，它更容易沿着周边纹理"补"，却不一定真正理解整幅图的全局逻辑，因此可能出现局部看着像，整体结构却不合理的情况。
扩散模型的基本理解
当前主流图片生成模型大量采用扩散模型。
它的基础思路可以概括为：先从噪声出发，再一步步"去噪"，最终生成符合提示词要求的图像。
直观地说，扩散模型不是"一次性把图画出来"，而是像从一团模糊噪声中慢慢把图像"显影"出来。
这个过程虽然通常比 GAN 更慢，但生成结果往往更稳定，对提示词的服从度也更高。
为什么扩散模型在复杂生成里更常用
从应用角度，GAN 与 Diffusion 的根本差异不只是"谁更清晰"，而是它们对画面结构的理解方式不同：
| 对比维度 | GAN | Diffusion |
|---|---|---|
| 生成方式 | 生成器与判别器对抗博弈 | 从噪声逐步去噪生成 |
| 速度 | 通常更快 | 通常更慢 |
| 局部修补 | 表现较好 | 也可胜任 |
| 大面积缺失重建 | 容易复制邻近纹理 | 更擅长根据整体语义重构 |
| Prompt 服从度 | 相对弱一些 | 通常更强 |
尤其在"主体缺失、大面积空白、需要根据上下文补出合理结构"的任务中，扩散模型更常被优先选择。
原因在于它更擅长从整幅图像的全局语义出发，推断缺失区域应该是什么，而不是只做局部纹理填补。
视频生成如何理解
视频生成可以理解为：在图像生成能力的基础上，再增加"帧与帧之间的连续性控制"。
因此它不仅要解决"这一帧画得像不像"，还要解决"前后几帧是否连贯、动作是否自然、主体是否稳定"。