一文讲透 AI 绘画 Prompt 工程：从原理到可复用的方法论

Prompt 常被当成"咒语"------多加几个 masterpiece, best quality 就能出好图。但如果拆开看文本到图像模型的工作机制，会发现 prompt 效果的好坏其实是可以工程化分析的：它本质上是在给模型的语义空间指定一个"坐标"，坐标越清晰、越落在训练分布的密集区域，生成结果就越稳定可控。

这篇文章从原理讲起，梳理主流模型的 prompt 语法差异、可复用的结构化写法，以及"图生 prompt"这类逆向工程背后的技术路径，希望给做 AIGC 相关产品或者单纯想把图出得更准的同学一点参考。

1. Prompt 到底在模型里做了什么

文生图模型（不管是 Stable Diffusion 系的 U-Net/DiT 扩散模型，还是 DALL-E 3、Flux 这类）流程大致是：

文本编码器（CLIP text encoder、T5，或两者组合）把 prompt 转成一组 embedding；
这组 embedding 作为条件，通过 cross-attention 注入到扩散模型的去噪过程中；
模型从纯噪声开始，按 embedding 的引导逐步去噪，最终还原出图像。

理解这一点后，"为什么具体的 prompt 效果更好"就有了解释：训练数据里的图文对本身是具体、结构化的描述（摄影 caption、艺术站点的作品说明等），模型学到的语义空间对这类表达更"敏感"。而堆砌抽象形容词（"精美""震撼""4K"）在训练分布里出现频率高但信息密度低，边际收益迅速递减，甚至会稀释真正有效的语义信号。

2. 主流模型的 Prompt 语法差异

不同模型的文本编码器和后处理逻辑不同，prompt 写法也不能照搬：

模型	编码器/机制	语法特点
Stable Diffusion (A1111/ComfyUI)	CLIP ViT-L/14（SDXL 为双编码器）	支持 `(word:1.3)` 权重语法、负向 prompt、LoRA/embedding 触发词
Midjourney	自研 + 内部 prompt 理解层	`::` 分段加权、`--ar` `--stylize` `--chaos` `--no` 等参数化控制
DALL-E 3	内置 LLM 会自动重写用户输入	更适合自然语言描述，过度关键词堆砌反而会被"重写"抵消
Flux	T5 + CLIP 双编码器	支持更长的自然语言描述，对纯关键词堆砌不敏感，几乎不用负向 prompt

举个对比：同样想要"赛博朋克风格的雨夜街道"，在 SD 里可能写成

less 复制代码

cyberpunk street at night, (rain:1.2), neon lights, reflective wet pavement,
wide shot, cinematic lighting
Negative prompt: blurry, low quality, overexposed

在 Flux 或 DALL-E 3 里更适合写成一句完整的自然语言描述，而不是关键词拼接------因为它们的文本编码器（尤其 T5）本身就是按句子语义建模的，破碎的关键词反而丢失了语法结构里的关系信息。

3. 结构化 Prompt 的写法模板

不管哪个模型，一个可复用的结构大致是"从主体到细节，从内容到形式"：

css 复制代码

[主体 + 动作/状态]
+ [场景/背景]
+ [构图/镜头语言]
+ [光线]
+ [色调/材质]
+ [风格/媒介]
+ [质量修饰词，酌情]

例如：

diff 复制代码

一位穿着复古潜水服的宇航员，漂浮在珊瑚礁上方
+ 背景是废弃的海底城市遗迹
+ 广角镜头，低视角仰拍
+ 透过海水折射的丁达尔光
+ 冷蓝绿色调，微微的胶片颗粒感
+ 概念艺术风格，厚涂质感

这套结构的价值不在于"更花哨"，而在于它天然对应了训练数据里 caption 的组织方式，模型更容易把每一段映射到对应的视觉属性上，而不是把所有词混在一起做语义平均。

4. 权重与负向控制的边界

SD 系的权重语法 (word:1.2) 本质是在 embedding 层面对该 token 的向量做缩放，不是线性的"越大越强"------超过 1.4~1.5 之后经常会出现语义漂移或画面崩坏，这是很多人踩过的坑。负向 prompt 也是同理，不是关键词越多越好，常见的有效范围其实是那几类结构性问题（多余肢体、畸变手指、构图裁切）而不是无限堆砌"low quality, bad, ugly, worst"这类高度重叠的抽象词。

Midjourney 的 --no 参数和 SD 的负向 prompt 原理不同：--no 是在采样阶段做条件排斥，SD 负向 prompt 则是同时编码正负两组 embedding 做 classifier-free guidance 的差值引导。理解这个区别，能帮你判断为什么同一句负向描述在两个平台上的效果差异很大。

5. 反过来想：Image-to-Prompt 是怎么做的

除了写 prompt 生成图像，另一个方向是拿到一张图，反推出能复现它的 prompt------这在做风格迁移、二次创作参考时很常用。技术路径大致两类：

CLIP Interrogator 类方案：用 BLIP/BLIP-2 生成基础 caption，再用 CLIP 的图文相似度在一个预设的风格词库（艺术家、媒介、光线关键词）里做检索匹配，拼接出一个"关键词云"式的 prompt。优点是快，缺点是词库覆盖有限、拼接痕迹重。
视觉语言模型（VLM）直出：用 GPT-4V、Gemini、Qwen-VL 这类多模态模型直接生成结构化描述，再按第 3 节的模板做后处理排序。优点是描述更自然、细节更准，缺点是对构图、镜头语言这类"隐性"信息的还原度依赖模型本身的视觉理解能力，需要额外的 prompt engineering 去引导它按结构化格式输出。

我自己在做 Find Image Prompt 的图生 prompt 功能时，走的是第二条路------用 VLM 输出后再做结构化重排，尽量让反推出来的 prompt 本身也符合第 3 节的组织方式，而不是一堆无序关键词，这样换到别的模型上复用时效果更稳定。

6. 一个可落地的迭代工作流

比起追求"一次写对"，更实际的做法是把 prompt 当成可迭代的产物：

按第 3 节模板写出 baseline prompt，出图；
把结果丢进 image describer / interrogator 反推一遍，对比"模型实际理解到的语义"和"你想表达的语义"之间的差距；
针对差距只改一两个维度（比如只调光线，不动构图），做对照测试；
稳定下来的 prompt 片段可以沉淀成自己的"模板库"，尤其是风格/质量修饰词这类跨主题可复用的部分。

这个流程本质上是把 prompt engineering 当成有反馈闭环的调参过程，而不是一次性的文案创作。

7. 几个常见误区

堆砌质量词边际收益极低 ：masterpiece, best quality, 8k, ultra detailed 叠满并不会线性提升画质，训练分布里这类词高频共现，模型对它们的响应早就饱和。
忽略 token 长度限制：CLIP text encoder 通常有 77 token 的硬限制，超出部分要么被截断要么依赖 chunking 机制处理，写太长的关键词堆砌前几十个词权重反而更高。
正负 prompt 语义冲突：负向 prompt 里出现和正向描述语义相近的词（比如正向要"梦幻朦胧"，负向又写了"blurry"），两者会互相抵消，导致引导信号变弱。

小结

Prompt 工程不是玄学，它建立在文本编码器如何把语言映射到视觉语义空间这个具体机制之上。结构化表达、理解不同模型的编码差异、把迭代当成有反馈的调参过程，这三点基本能覆盖大部分实际场景里的调优需求。