偏好对齐优化
生成模型的输出质量最终由人类主观判断决定，但人类偏好是隐式的、相对的、难以形式化为可微分损失函数——偏好对齐优化的根本动因就是将这种隐式偏好转化为可训练信号。
Christiano et al.（OpenAI）发表"Deep Reinforcement Learning from Human Feedback"，首次系统性地提出从人类偏好比较中学习奖励模型的框架。其核心洞见是：让人类对两个输出做"哪个更好"的二元比较，远比让人类给出绝对评分更可靠、更一致。该工作源于AI安全领域——当目标函数难以精确定义时，通过人类反馈间接指定目标。这一范式奠定了后续所有偏好对齐方法的基础流程：收集偏好对→学习奖励→优化策略。
Stiennon et al.（OpenAI, 2020）将RLHF应用于文本摘要任务，证明人类偏好反馈可以显著超越纯监督微调的效果。2022年Ouyang et al.发表InstructGPT论文，将RLHF三阶段管线（SFT→奖励模型训练→PPO策略优化）规模化应用于GPT-3，直接催生了ChatGPT。RLHF的成功证明偏好对齐不仅是安全工具，更是提升模型实用性的核心技术。但RLHF管线极其复杂：需要独立训练奖励模型，PPO训练不稳定且超参数敏感，四个模型（策略、参考策略、奖励模型、价值网络）同时驻留显存，工程成本极高。
Rafailov et al.（Stanford）提出Direct Preference Optimization（DPO），实现了偏好对齐领域的关键突破。其核心数学洞见是：在KL约束的RLHF目标下，最优策略与奖励函数之间存在解析映射关系，因此可以绕过显式奖励模型，直接用偏好数据优化策略网络。DPO将复杂的RL管线简化为一个二元交叉熵损失，仅需两个模型（策略和冻结的参考策略），训练稳定性和工程可行性大幅提升。DPO迅速成为开源社区的标准对齐方法，被Llama 3、Mistral、Zephyr等主流模型采用。
偏好优化方法快速分化演进：IPO（Azar et al.）通过正则化解决DPO的过拟合问题；KTO（Ethayarajh et al.）引入Kahneman-Tversky前景理论，仅需单条好/坏标注而非成对比较；LiPO（Liu et al.）将成对比较扩展为列表排序，利用信息检索领域的Plackett-Luce模型处理多个候选的全序关系，从$K$个候选中提取$\binom{K}{2}$个成对比较的信息。与此同时，偏好优化从纯文本领域扩展到图像生成（Diffusion-DPO）、语音合成（如今日Emo-LiPO将列表偏好用于TTS情感强度控制）、视频生成等多模态场景，成为生成式AI的通用对齐范式。
偏好对齐的数学基础建立在Bradley-Terry偏好模型之上。给定提示$x$，偏好响应$y_w$和非偏好响应$y_l$，人类偏好$y_w$的概率建模为$P(y_w \succ y_l | x) = \sigma(r(x, y_w) - r(x, y_l))$，其中$\sigma(\cdot)$