美国留学

近日，美国罗格斯大学博士生金明宇及其团队通过引入思想链（CoT）的概念，提高了大型语言模型（LLM）在算术等复杂推理任务上的性能。推理、常识推理、符号推理等。

图片|金明玉（来源：金明玉）

CoT 的原则是通过提供推理过程的示例来教会模型处理推理，详细说明导致最终答案的每个步骤。这种提示方法可以有效教会模型不要急于完成推理过程，而是逐步解决问题。这与人类自然解决问题的方式一致，即将复杂的任务分解为更简单、更易于管理的步骤。与直接将输入映射到输出的指令跟踪模型不同，CoT 将中间推理步骤合并到导致最终输出的线索中。这种方法在涉及常识、算术和符号推理的任务中显示出显着的性能改进。 CoT 通过将复杂的推理分解为逐步的过程来促进工作流程，帮助模型按顺序解决问题的每个部分，这对于深思熟虑的推理任务至关重要。研究发现，CoT 提示对于较大的模型特别有效，当模型参数达到至少100 亿时，性能开始显着提高，在1000 亿参数时观察到最明显的好处。然而，较小的模型似乎并没有从CoT 中受益那么多，通常会产生平滑但不合逻辑的推理链，从而导致错误的结果。在研究过程中，研究团队还发现，大型模型的推理能力与推理步骤数之间存在绝对的线性关系。演示中的推理步骤越多，模型在推理或逻辑问题上的准确性就越高。这个能力可以解决一些问题，比如人们在设计提示时不注意步骤等。这种方法可以让人们更加规范地设计提示，从而改善大型模型的推理步骤。 CoT 的工作原理是将复杂的推理任务分解为更小、更易于管理的步骤，模仿人类解决问题的方式。这种分步过程对于需要详细和细致理解的任务特别有益，例如算术推理、常识推理和符号推理。它通过鼓励模型不仅得出答案，而且还显示得出该结论所采取的路径，从而提供决策过程的透明度。此外，CoT 示例中提供的模型推理能力与推理步骤数之间的线性关系是一个重要发现。这种关系表明，随着提示中推理步骤数量的增加，模型在推理或逻辑任务中的准确性也会增加。这对提示的设计方式有影响，并表明更加结构化和分步的方法可以提高法学硕士在复杂推理中的表现。然而，CoT的应用并非没有挑战。虽然它在任务性能方面提供了相当大的改进，但它需要仔细的平衡。此外，使用太多步骤使模型过载可能会使模型混乱或导致收益递减。同时，CoT 的有效性也部分取决于所提供示例的质量。推理步骤越清晰、越符合逻辑，模型就能更好地学习并将这种推理应用于新问题。而这不仅有助于更准确地解决问题，还有助于以人类可以理解的方式解释模型的推理。在研究过程中，团队还发现增加推理步骤数量可以线性提高性能。这一发现解决了该领域之前的一个问题：缺乏标准化的提示设计方法。有了CoT，人们现在有了一个框架可以为复杂的推理任务创建更有效的提示。这种增强的解决数学问题的能力可以帮助用户更好地解决数学问题。此外，CoT 可以通过允许搜索引擎理解和处理多步骤查询来增强搜索引擎的功能，从而不仅为用户提供答案，还为用户提供这些答案背后的推理。

最近，arXiv[1]上发表了一篇相关论文，标题为《推理步长对大型语言模型的影响》（The Impact of Reasoning Step Length on Large Language Models）。金明宇为第一作者，美国新泽西理工学院杜梦楠教授为通讯作者。

图|相关论文（来源：arXiv）

金明宇说：“但是我们需要了解cot 的一些基本性质，才能确认它是否能够帮助其他人的研究。目前我们对cot 的研究还不够系统，我们觉得应该给出更多的基础见解。” ”未来，研究团队计划研究大模型内部来解决这个问题，即分析LLM推理的长推理步骤和短推理步骤，以及大模型内部的神经元过程。他们的最终目标：他们希望确定较长的推理步骤是否与更广泛的神经元参与相关。因此，他们打算使用可视化技术来分析长推理和短推理之间的激活模式。参考：1.https://arxiv.org/abs/2401.04925 操作/排版：何晨龙