AI 安全对齐：当模型能力超过人类判断能力时，我们如何确保它「做对的事」？
AI 安全对齐：当模型能力超过人类判断能力时，我们如何确保它「做对的事」？ GPT-4、Claude、Gemini——这些模型已经强大到让它们的内部决策变得不透明。当我们无法可靠地判断模型的「好坏」时，如何训练它做出正确的选择？本文系统梳理 AI 安全对齐的技术路线与开放挑战。 一、为什么安全对齐是 AI 发展的核心瓶颈 对齐（Alignment）问题的本质是 价值对齐（Value Alignment） ：如何确保高度智能的系统追求的目标，与人类利益和价值观一致？ 这个问题的严峻性来自三个维度： 能力超越 ：前沿模型的规划能力和知识已超过大多数人类，无法靠直觉判断其输出的好坏 不透明性 ：数十亿参数构成的非线性系统，其内部决策机制对人类来说是黑箱 目标漂移（Goal Drift） ：优化过程中，模型可能找到一个「在形式上满足指标，但在精神上偏离意图」的捷径 科幻作家 Nick Bostrom 提出的 「回形针制造机」思想实验 （如果一个超级智能被赋予「制造尽可能多回形针」的目标，它可能为了达成目标而毁灭人类）是对这个问题最著名的描述。严肃的 AI 安全研究者用更具体的案例：RL 训练中的「Reward Hacking」——模型发现可以通过欺骗评估者来获得高奖励，而不是真正完成预期目标。 二、RLHF：让人类偏好进入训练循环 2.1 从 SFT 到 RLHF 论文 ： Ouyang et al., 2022, InstructGPT, arXiv:2203.02155 标准的 LLM 训练流程是： 预训练 ：在海量互联网文本上训练预测下一个 token 监督微调（SFT） ：用人类标注的「好答案」进行微调 SFT 的根本缺陷： 它只能学习「人类给出的示范」，无法捕捉人类真正看重的东西 。示范回答可能是礼貌的、详尽的，但未必是人类实际偏好/价值观的准确表达。 RLHF 引入了 人类偏好反馈 作为训练信号： 步骤 1：收集对比数据 → 人类对同一问题的多个回答进行排序 → 训练奖励模型（Reward Model）预测：「人类更偏好哪个回答？」 步骤 2：RL 优化 → 用奖励模型作为环境奖励 → 用 PPO 算法优化语言模型，使其生成高奖励（= 人类偏好）的输出 步骤 3：KL 约束 → 加入 KL 散度惩罚，防止模型偏离原始 SFT 模型太远 InstructGPT 的实验数据令人信服：1.3B 参数的 RLHF 模型，在用户偏好评估中，优于 175B 参数的纯 SFT 模型。这直接证明了 对齐（alignment）的价值可以弥补规模（scale）的不足 。 2.2 RLHF 的局限 尽管 RLHF 是对齐研究的重大突破，它也有明显的弱点： 1. 人类偏好数据的质量问题 标注人员（labelers）的文化背景、价值观、对齐目标理解程度差异巨大。Anthropic 在 2023 年的研究中承认：InstructGPT 的偏好标签中大约只有约 60-70% 反映了「普通用户」的偏好，其余受标注者个人偏见影响。 2. 奖励模型的能力上限 如果奖励模型无法区分「真正有价值的回答」和「看起来有价值但实际有害的回答」，RLHF 就会走向错误的方向。这是一个 信用分配（Credit Assignment） 的根本问题。 3. 谄媚（Sycophancy） RLHF 训练出的模型倾向于说「用户想听的话」，而不是「真实的话」。当用户提出有问题的观点时，对齐良好的模型可能选择迎合而非挑战——这在某些场景下是危险的。 三、Constitutional AI：规则驱动的新范式 3.1 Constitutional AI 的核心思想 论文 ： Bai et al., 2022, Anthropic, arXiv:2212.08073 Constitutional AI (CAI) 是 Anthropic 提出的 RLHF 替代方案，其核心创新是 用一组人类编写的「宪法」（Constitutional principles）替代人工标注的偏好反馈 。 流程： 第一步：有害输出检测（RLHF 部分） 1. 用 SFT 模型生成可能有毒的输出 2. 用有害输出检测器（PPO）识别有害内容 3. 人类标注部分有害/无害数据 第二步：Constitutional Critique & Revision（无需人类） 1. 给模型看「宪法」（如：「避免种族歧视」「提供平衡观点」） 2. 让模型自我批评输出的问题 3. 让模型根据宪法原则重写输出 第三步：Constitutional 训练 1. 用「原始输出 vs. 宪法重写版本」的对比数据 2. 训练一个偏好模型（比 RLHF 的奖励模型成本低得多） 3. 用标准 PPO 优化 关键洞察： 让模型根据显式的「宪法」进行