将 System 2 蒸馏回 System 1

  设置：System 1 和 System 2 模型

  给定一个输入 x，研究者考虑设置一个单一模型，在他们的例子中是一个大语言模型 (LLM)，它能够实现两种响应模式：

  从形式上，研究者将 System 2 模型 S_II 视为一个函数，它接受 LLM p_θ 和输入 x，并且可以重复调用 LLM 以使用特定算法生成中间标记 z，然后返回输出 y：

  

  System 2 方法可能涉及多个提示、分支、迭代和搜索，同时使用 LLM 生成中间结果以供进一步处理。相比之下，System 1 模型仅考虑原始输入 x 并直接调用 LLM pθ 来生成输出 y：

  方法：System 2 蒸馏

  本文方法的第一步是使用 System 2 模型对未标记的输入 X 生成响应：

  

  然后，这些响应 y^i_S_II 可直接用作 System 2 蒸馏目标，以微调 System 1 模型。但是，它们容易受到噪声的影响：其中一些响应可能是高质量的，而另一些可能是低质量或不正确的。对于涉及简短响应（通常具有唯一正确（但未知）的答案）的简短问答和推理任务，研究者考虑采用无监督管理步骤来尝试提高训练数据质量。他们考虑了以下两种依赖于自洽性标准的变体：

  之后研究者得到了合成数据集 (X_S_II , Y_S_II)，其中 X_S_II 是 X 的一个过滤子集，目标是 Y_S_II。最后一步是使用这个蒸馏出来的训练集对参数为 p_θ 的 LLM 进行监督微调。研究者通常从当前状态 p_θ 初始化此模型，然后继续使用新数据集进行训练。微调后，他们得到一个 LLM

  

  ，这是一个 System 1 模型，预计可提供与评估的 System  2 模型类似的输出和性能提升。

  实验结果

  训练和评估设置

  研究者使用 Llama-2-70B-chat 作为所有实验的基础模型。他们需要一个具有足够能力的基础模型，使其能够像 System 2 模型一样高效运行，同时还具有可以微调的开放权重，因此做出了此选择。

  同时，研究者考虑了几种 System 2 方法，包括 System 2 Attention、 RaR、分支解决合并（Branch-Solve-Merge）和思维链， 并重点关注每种方法都显示出强大性能的任务。

  对于 System 1，研究者使用指令调整后的基础模型作为标准基线进行零样本推理。他们报告每个任务的任务特定指标，以及「#Tokens」指标，后者衡量评估集上每个输入生成的平均 token 数量。System 2 方法则包括中间 token 生成以及最终输出 token 生成。

  Rephrase and Respond 蒸馏

  RaR 是一种 System 2 方法，它首先提示语言模型以进一步阐述的方式来复述原始问题，然后基于复述的问题生成响应，目的是提供更优的输出。

  对于蒸馏数据，研究者使用输出的自洽性为 RaR 构建 System 2 蒸馏数据集。对于每个输入，他们对最后一个字母（ last letter）任务进行了八次采样迭代，并同样对硬币翻转（coin flip）任务的每个阶段进行八次采样迭代，然后用多数投票来确定最终输出。

  首先来看最后一个字母连接（Last letter Concatenation）任务。此任务侧重于符号推理，要求模型连接给定单词的最后一个字母。整体结果如下表 1 所示。

  基线 System 1 模型 (Llama-2-70B-chat) 的准确率达到 30.0%，低于 System 2 的 1-Step 和 2-Step RaR 方法（分别为 39.5% 和 44.5%）。通过本文无监督技术将 2-Step RaR 方法蒸馏回 System 1 Llama-2-70B-chat 模型，则实现了 98.0% 的惊人准确率。

  与零样本聊天模型相比，模型可以有效地从这些训练数据中学习如何解决任务。RaR 的蒸馏有效地继承了 System 2 和 System 1 的优势，既保留了 System 2 的准确率优势，而其推理成本与 System 1 相当。

  

  再来看硬币翻转推理任务。这种符号推理任务经常在研究中进行测试，它涉及确定硬币的最终面（正面或反面），从已知的初始位置开始，经过一系列用自然语言描述的翻转，例如「硬币正面朝上」。

  整体结果见上表 1。Llama-2-70B-chat（零样板）在此任务上的成功率为 56.1%，而 1-Step 和 2-Step RaR 的成功率分别为 58.5% 和 77.2%。因此，使用 2-Step 方法获得了巨大改进。通过本文无监督技术将 2-Step RaR 蒸馏回 System 1 Llama-2-70B-chat 可以获得 75.69% 的结果。

  因此，蒸馏的 System 2 模型提供的性能与 System 2（2 Step RaR）相当，但不需要使用 2 个提示执行 LLM 程序。

  System 2 Attention 蒸馏

  Weston 和 Sukhbaatar (2023) 提出了 System 2 Attention (S2A)，这种方法有助于减少模型的推理陷阱，例如依赖输入中的偏见信息或关注不相关的上下文。

  研究者验证了将 S2A 提炼到 System 1 中的可行性，特别是 SycophancyEval 问答任务，该任务包含已知会损害 LLM 性能的输入中的偏见信息。

  结果如下表 2 所示，报告了 3 个随机种子的平均准确率。正如预期，基线（System1）LLM 在有偏见部分的准确率较低，容易受到有偏见输入的影响。S2A 显著提高了有偏见输入的性能。System 2 蒸馏表现出与 System 2 方法类似的强大性能。