一句话总结：扩散模型能画出惊艳的图，却经常不按你的意思画。RLHF、DPO 和推理时对齐正在把“好看”变成“好用”——但这三条路各有代价，对齐远未到终点。

一、一个尴尬的真相：扩散模型画得很好，但“不听话”

Stable Diffusion、DALL·E、Midjourney 这些工具已经能生成以假乱真的图像。但只要用过就知道，模型经常出现两种让人头疼的问题：

语义错位。你让它画“一只戴着红色帽子的猫坐在蓝色椅子上”，它可能给你一只戴蓝帽子的猫坐在红椅子上。或者你描述“两个人握手的特写”，它生成四个人手缠在一起的诡异画面。这种错误在复杂组合提示上尤其频繁，因为模型没有显式地“理解”提示中的语法结构，只是在统计上把文本和图像特征关联起来。

审美偏差。即使语义对了，生成的图像可能风格不对——太暗、太亮、构图混乱、细节模糊。每个人的审美偏好千差万别，而预训练扩散模型只学了一个“平均好看”的分布，根本不知道你想要的是写实还是油画、冷色调还是暖色调。

这两个问题合在一起，指向一个核心事实：扩散模型的标准训练目标（预测噪声）完全没有考虑人类的偏好信号。它在学“什么是真实的图像”，而不是“什么是用户想要的图像”。

对齐要解决的，就是把这个断层填上。

二、对齐的三条路：训练时改、训练时省、推理时调

2.1 RLHF：最“正统”但最贵的那条路

RLHF（Reinforcement Learning from Human Feedback）的思路和 LLM 领域一脉相承，也最“重”。

流程分三步：先收集人类偏好数据——给同一个提示生成多张图，让人标注哪张更好；再训练一个奖励模型——让它学会“预测人类会给哪张图打高分”；最后用强化学习优化扩散模型，让它生成的图像能拿到更高的奖励分。

这听起来很合理，但代价很大。强化学习的训练本身就不稳定，扩散模型的迭代去噪过程让这个问题更加严重——一个生成样本要经过几十步去噪，每一步都可能引入偏差。更麻烦的是奖励黑客：模型很快会发现奖励模型的漏洞，生成奖励分很高但视觉质量糟糕的图像。比如奖励模型偏好“亮”的图，模型就把画面过曝到一片白；偏好“细节丰富”，模型就生成满屏的噪点。

论文里对 RLHF 的经典描述是“最大化奖励 + KL 正则约束不偏离预训练先验”，正则强度 β 控制这个权衡。但 β 选不好——太大则对齐不足，太小则奖励黑客。找到合适的 β 需要在多个强度下分别从头对齐，SDXL 单个 β 的对齐训练大约需要 336 GPU 小时。

2.2 DPO：不用奖励模型的“轻量替代”

DPO（Direct Preference Optimization）的出现就是为了绕开 RLHF 的复杂流程。它的核心洞察是：你不需要单独训练一个奖励模型，可以直接在偏好数据上优化策略。

数学上，DPO 把“最大化奖励 + KL 正则”的约束优化问题做了一个巧妙的变换，把奖励函数隐式地用策略的对数概率表示出来。结果就是一个简单的分类损失：让模型对“好图”的对数概率比“坏图”更高。不需要采样、不需要强化学习、不需要额外的奖励模型，训练稳定得多。

但 DPO 也有自己的问题。它需要成对的偏好数据——同一提示下的两张图，人类标出哪个更好。构建这种数据集的成本很高，而且现有数据集往往只覆盖有限的偏好维度。更重要的是，DPO 把每个偏好对平等对待，但现实是有些偏好对的信息量远大于另一些。Curriculum DPO 的做法是按“难度”排序：排名差距大的样本先学（容易对），差距小的后学（难对），分阶段训练。在九个基准上，这种方法在文本对齐和美学质量上都超过了标准 DPO。

2.3 推理时对齐：不改模型，在采样时“调方向”

前两条路都需要训练模型。第三条路更“轻”——不动模型权重，在推理（采样）阶段引导生成过程。

这条路的核心想法是：扩散模型本身已经学到了丰富的视觉知识，你不需要重新训练它，只需要在去噪过程中“推一把”，让它往你想要的方向走。

Direct Noise Optimization（DNO） 是一个代表性工作。它不去修改模型，而是优化注入的噪声。扩散模型的初始噪声决定了生成的方向，DNO 在采样过程中迭代调整噪声，使最终图像最大化奖励函数。它设计为推理时操作，不需要调参，也不需要针对特定提示调整，理论上可以泛化到任意奖励函数。

AnchorSteer 则从另一个角度切入。它发现现有推理时方法有两个短板：要么只改初始噪声（可能找不到好的起点），要么只改去噪轨迹（无法及时纠错）。AnchorSteer 同时控制两端：用 CLIP 先验提取和 Latent-Prior Score Distillation 把无信息的高斯噪声替换为“语义锚定”的初始化，同时在去噪过程中加入一个 Think–Erase–Retouch 循环——VLM 检测语义偏差，负向引导回滚错误内容，正向引导恢复缺失属性。在 GenEval 和 T2I-CompBench++ 上，它在文本-图像对齐上持续超过了基线方法。

DeRaDiff 解决的是另一个实际问题。RLHF 需要对多个 KL 正则强度 β 分别训练模型，成本极高。DeRaDiff 的思路是“只对齐一次，推理时在线调整”——它同时持有一个参考模型（预训练）和一个锚模型（在某个 β 下对齐好的），在每一步去噪时把两者的后验做几何混合，用一个标量 λ 在线控制有效正则强度。λ=0 回到预训练，λ=1 回到锚模型，0<λ<1 是稳定的插值。这样就不需要为每个 β 单独训练，SDXL 上省去了数百 GPU 小时的重复开销。

三、奖励模型：对齐的“裁判”怎么当

不管是 RLHF、DPO 还是推理时对齐，都需要一个东西来判断“什么图更好”。这就是奖励模型的工作。

ImageReward 是第一个专门为文生图设计的通用奖励模型，基于人类偏好数据训练，不依赖参考图像就能打分。VisionReward 则走得更远——它不满足于只给一个总分，而是构建了一个分层视觉评估框架，从多个维度（对齐、美学、保真度等）分别打分，然后用线性加权合成。这种可解释的设计让它比黑盒奖励模型更可靠，在视频生成的偏好预测准确率上比 VideoScore 高出 17.2%。

Qwen-Image-2.0-RL 展示了一个更工业化的做法。它用视觉语言模型（VLM）通过逐点评分范式和思维链推理微调，构建了任务特定的复合奖励模型：文生图任务涵盖对齐、美学和肖像保真度三个维度，图像编辑任务则处理指令遵循准确性和面部身份保留。在此基础上用 GRPO 强化学习框架训练，最终在文本到图像竞技场的 Elo 评分达到 1193（比基础模型提高 78），图像编辑竞技场达到 1349（提高 93）。

但奖励模型本身也有风险。一项 2026 年的研究发现，美学对齐可能系统性地放大“颜值偏见” ——模型会倾向于生成符合特定审美标准的图像，而排斥其他风格或面孔。这在训练数据本身就有偏差的情况下尤其严重。

四、评估：怎么知道“对齐了没有”

对齐的目标是“让模型更懂人”，但“懂”是一个主观概念。怎么量化？

传统指标各有短板。FID（Fréchet Inception Distance）衡量图像质量，但完全忽略文本条件——一张和提示毫无关系的精美图像在 FID 上得分可能很高。CLIPScore 衡量文本-图像对齐，但对视觉质量不敏感——它可能给一张语义正确但满是伪影的图打高分。

cFreD 是 2026 年 WACV 提出的一个新指标，试图把视觉保真度和文本一致性统一到一个条件 Fréchet 距离中。和 FID 及 CLIPScore 相比，它与人类判断的相关性更高，而且不需要像学习型偏好模型那样持续重新训练，对新架构和分布外提示的泛化性更好。

WISE 则从一个不同的角度切入：它专门评估世界知识——模型是否理解常识、时空关系和自然科学。比如“把太阳放在月亮左边”这种提示，需要模型具备基础的天文学知识，而标准 CLIP 指标对此几乎不敏感。WISE 提出的 WiScore 填补了这个空白。

数据集方面，VisionPrefer 是目前最大的文生图偏好数据集，包含 120 万条偏好选择，覆盖 17.9 万对图像，维度包括提示遵循、美学、保真度和无害性。Pick-a-Pic 则是较早的开源偏好数据集，通过网页应用收集真实用户的偏好标注，规模虽小但更贴近实际使用场景。

五、还没解决的问题

5.1 奖励黑客：模型在“作弊”

奖励黑客是对齐领域最顽固的问题。模型很快学会“刷分”——生成奖励模型喜欢但人类不喜欢的图像。一个典型的案例是：视频扩散模型的潜在奖励模型在优化过程中，预测奖励持续走高，但感知质量和运动质量同时下降。

TMPO 的解法是把“最大化标量奖励”换成“轨迹级的奖励分布匹配”，避免模型只盯着某个分数钻空子。GARDO 则从在线强化学习入手，识别并惩罚代理奖励与真实目标之间的偏差。但至今没有通用的解决方案——本质上，你用一个不完美的代理目标去优化模型，模型总会找到利用代理与真实目标之间差距的方法。

5.2 偏好数据的稀缺与偏差

偏好数据的构建成本极高。人类标注员需要仔细比较两张图的细微差别，标注质量参差不齐。VisionPrefer 尝试用多模态大模型（MLLM）自动生成偏好标注，但 AI 生成的偏好是否真的代表人类偏好，仍然是一个开放问题。

数据集偏差是另一个隐患。如果标注员主要来自特定文化背景，他们的偏好会系统性地偏向某类风格或内容。模型学到的是“这群人的偏好”，而不是“人类的偏好”。

5.3 对齐与多样性的张力

对齐的目标是让模型“更听话”，但过度对齐可能扼杀多样性。如果所有模型都对齐到同一个奖励模型，生成的图像会趋同——同样的构图、同样的色调、同样的“安全”风格。这不是对齐的目标，而是对齐的副作用。

六、往前看：对齐的下一步

从单一维度到多维度。VisionReward 和 Qwen-Image-2.0-RL 的做法代表了一个趋势：不再用一个标量打分，而是从多个维度分别评估，再综合。这更贴近人类的真实判断——我们评价一张图时，不会只给一个分数，而是“构图不错但色彩偏暗”“细节丰富但风格不统一”。

从图像到视频到3D。图像对齐的方法正在向视频扩散模型迁移。VideoDPO 把 DPO 适配到视频扩散，SIPO 提出了更稳定的偏好优化框架。但视频对齐的挑战更大——时间一致性、运动合理性、叙事连贯性，这些维度在图像对齐中根本不存在。

推理时对齐的实用化。DeRaDiff 的“对齐一次、推理时调整”思路如果进一步成熟，可能改变对齐的工程范式——不需要为每个用户、每个场景重新训练模型，只需要在推理时调整一个参数。这对模型的部署和迭代效率是数量级的改善。

对齐与安全的交叉。DETONATE 基准专门评估文生图模型在种族、性别和残障三个社会偏见维度上的对齐表现，并提出了核化 DPO 方法。这类工作把“安全对齐”从简单的关键词过滤提升到了表示空间层面的干预。