一句话总结：扩散模型能画出惊艳的图，却经常不按你的意思画。RLHF、DPO 和推理时对齐正在把“好看”变成“好…