Coconut：连续思维链一种新的大语言模型推理方法直接在内部思考

当前的大语言模型（LLMs）主要在“语言空间”中进行推理，依赖“思维链”（Chain-of-Thought, CoT）逐步生成解决问题的步骤。然而，这种方法效率低下，大量生成的文本主要用于流畅性表达，对推理无直接帮助。 Coconut（Chain of Continuous Thought，连续思维链）是一种新的推理框架，旨在让大语言模型（LLMs）在 连续潜在空间 中进行推理，而不是传统的语言空间。核心思想是通过使用模型的隐藏状态（hidden state）作为推理步骤的表示，从而避免将每一步都解码为语言标记（token）。这种方式让推理可以在潜在空间中自由进行，减少了语言生成的约束。 什么意思呢？ 就是目前的大语言模型在解决问题时，通过“思维链（如 Chain-of-Thought，CoT）依赖语言标记逐步生成推理链。这种方式： 生成了大量仅用于流畅表达的无关标记。也就是生成了很多没用的文字，而这些文字只是为了让过程看起来通顺 但这些文字对真正的推理没有帮助。 而且模型是一步一步写推理过程的，但如果某一步做错了，后面就全错了。 对于需要提前规划的复杂问题，比如数学题或逻辑题，传统模型只能一次走一条路，容易卡住。 同时如果写出完整的推理过程很费时间，尤其是需要生成大量文字时。 但 Coconut 让模型跳出这种“写作文”的方式，直接在内部用一种“脑子里的想法”来推理，而不是必须把每一步都写出来。 就是让模型变得像人类更聪明的“脑内思考”，跳过没用的文字表达，快速高效解决问题。 简单举例 传统方法 ：像老师讲题一样，逐字逐句写出“解题思路”。 Coconut ：像你脑子里想答案一样，直接快速得出结果，省去不必要的“写作文”过程。 就像人类在推理过程并不依赖语言区域，而是通过抽象的认知网络完成的。 Coconut 的新方法 ：模型直接用它的隐藏状态（hidden state）表示当前的推理状态，把它作为下一步推理的输入，而不生成语言标记。这样，推理完全发生在“模型内部”。 隐藏状态作为推理表示 ：模型的隐藏状态就是当前思考的结果，称为“连续思维”（continuous thought）。 潜在空间推理链 ：隐藏状态直接输入到下一步，形成一个链条，直到完成推理。 模型直接在“脑子里想”，只生成必要的答案，省去了很多不重要的语言描述，效率更高。 它可以同时考虑多种可能的解决路径（类似于“脑子里同时想好几个可能的答案”），再慢慢筛选出正确的路径，不会因为一步出错就全盘皆输。 它会像“多线程思考”一样，同时探索多个解决方案，提前计划好下一步该怎么走，这让它在复杂任务中表现更好。 Coconut 减少了标记生成的数量，使推理在潜在空间中完成，推理效率显著提升。在实验中，Coconut 在 GPU 上推理的平均时间显著低于 CoT。 Coconut 的技术方法详细介绍 理论基础与关键思想 Coconut 的设计基于以下两种重要思想： 1.1. 语言空间与潜在空间的差异 语言空间 ：传统的推理方式，如 Chain of Thought (CoT)，依赖于逐步生成语言标记来表现推理过程。每个推理步骤通过生成一个或多个词来构建完整的推理链。 模型通过生成一个个语言标记（比如“第一步做什么，第二步做什么”）来推理。 这种方法需要生成大量的文字，而且很多文字是没有实质性推理内容的，仅仅是为了让推理过程看起来连贯。 潜在空间 ：Coconut 提出推理不必拘泥于语言标记，而是可以直接使用模型的隐藏状态（hidden state）作为推理的表示。在这一过程中，模型直接在潜在空间中进行推理，而不是将每个步骤都转换成文字。这使得推理过程更高效，也能处理更复杂的问题。 1.2. 连续思维 连续思维（Continuous Thought） ：Coconut 利用 Transformer 模型中的最后隐藏状态（即每个时刻模型内部的“想法”）作为推理的表示，形成连续的思维链。 关键特点 ：每个隐藏状态不仅仅是一个单独的标记，而是连续推理的中间状态，这些状态之间可以相互传递，直到推理完成。 主要技术方法 2.1. 模型架构 Coconut 基于现有的 Transformer 架构，通过引入新的推理机制来完成潜在空间推理。 标准Transformer架构 ：模型的基本架构仍然是 Transformer 模型，这为潜在空间推理提供了强大的计算能力。 潜在空间推理的输入和输出 ： 输入 ：问题通过传统的语言标记进入模型，生成初步的嵌入表示。 潜在模式（Latent Mode） ：一旦进入潜在推理阶段，模型使用其隐藏状态作为输入，绕过语言标记的生成过程，直接进行推理。 输出 ：当推理完成时，模型再切换回语言模式，生成最终的答案。 2.2. 连续思维的实现 Coconut 的核心技术在于如何在潜在空间中进行推理。 在每一步推理中，模型的 隐藏状态 （即模型内部的“思维”）会被传递到下一步。 这使得模型能够一步步推理，避免过多的文字生成。模型并不是每次都生成一段语言，而是直接根据它的“思考过程”来推理。 隐藏状态作为推理的表示 ： 在每一步推理中，模型的最后隐藏状态（hidden state）不再解码为语言标记，而是直接传递到下一步。 这样做的目的是让推理过程不被语言的结构限制，可以在潜在空间中自由探索。 潜在空间中的思维链 ： 每个推理步骤的隐藏状态代表了模型当前的思维状态。 模型通过不断调整这些隐藏状态来实现推理，而非依赖于显式的语言标记。 切换模式 ： 语言模式 ：模型生成输入问题的语言标记和最终答案。 潜在模式 ：在这个阶段，模型不生成任何语言标记，而是根据隐藏状态进行推理。 输入和输出的转换 ： 在潜在模式下，模型的输入直接是前一步的隐藏状态，而不是语言标记。 一旦推理结束，潜在模式结束，模型将恢复语言模式并生成最终答案。 2.3. 多阶段训练方法 为了让模型能够逐步从传统的语言推理转向潜在推理，Coconut 引入了 多阶段训练 的方法。 第一阶段 ：让模型像传统的 CoT 那样，逐步生成语言推理过程。 后续阶段 ：逐渐减少语言推理的部分，增加潜在思维的部分，最终完全通过潜在思维来推理。 阶段1：传统语言推理训练（CoT） ： 在第一阶段，模型通过传统的 Chain-of-Thought (CoT) 方法进行训练，生成完整的推理链，并学习如何逐步推理得出答案。 阶段2及以后：逐步替代语言推理 ： 在后续阶段，模型逐渐将部分语言推理步骤替换为潜在思维（即隐藏状态）。例如： 第一步 ：用语言推理； 第二步 ：用潜在思维推理； 后续步骤 ：逐步增加潜在思维的比例，直到模型完全依赖潜在空间推理。 多阶段训练的目标 是让模型在学习过程中逐渐适应潜在空间推理，而不需要从一开始就完全跳入潜在模式。 训练目标与损失函数 ： 在训练过程中，损失函数主要关注在语言模式下生成的标记，模型通过 交叉熵损失（cross-entropy loss） 来优化其生成的语言标记。 对于潜在思维链，模型通过反馈隐藏状态，逐步优化推理的过程。 2.4. 模式切换与推理效率 Coconut 设计了一种机制来在语言模式和潜在模式之间切换。 语言模式 ：模型处理输入和输出，生成问题的语言和答案。 潜在模式 ：模型停止生成语言，而是直接通过隐藏状态（脑内思维）进行推理。 这让模型既能利用语言表达外部问题，又能高效地在内部进行推理。 这种方法不仅提高了推理的效率，还减少了推理所需的计算量。由于在潜在模式中不需要生成大量语言标记，推理过程变得更加高效。 3. 推理过程 输入 ：问题通过传统语言方式输入模型。 潜在推理 ：模型开始进入潜在模式，所有的推理都是通过隐藏状态（也就是“脑子里的思考”）来完成的。此时，模型不会输出任何文字。 输出 ：推理完成后，模型切换回语言模式，生成最终答案。 4. 训练与推理细节 训练阶段 ： 初期阶段，模型完全依赖语言标记进行推理，生成完整的推理链。 在后期阶段，潜在推理的比例逐步增加，直到模型完全依赖潜在空间推理。 推理阶段 ： 在推理过程中，模型会切换到潜在模式，逐步通过隐藏状态进行推理。完成后，再恢复语言模式输出答案。 切换机制 ： 使用特定标记 和 来标识潜在模式的开始和结束。 可以通过训练一个二分类器来决定何时结束潜在模式，也可以设置固定长度的潜在推理。 实验与结果 数据集 ： GSM8k（数学推理），ProntoQA（逻辑推理），ProsQA（新构建的数据集，用于测试规划能力）。 ProsQA数据集通过构建有向无环图（DAG）生成复杂逻辑问题。 主要结果 ： 数学推理任务（GSM8k） 性能 ： Coconut 在准确率和效率上均优于传统 Chain-of-Thought (CoT) 方法。 使用连续思维链（Continuous Thought）的 Coconut 准确率达到 34.1% ，显著优于不使用推理链的 No-CoT （16.5%）。 效率 ： Coconut 的推理过程中生成的标记（8.2 个）显著少于 CoT（25.0 个），推理更高效。 逻辑推理任务（ProntoQA 和 ProsQA） ProntoQA ： Coconut 的准确率达到 99.8% ，与传统 CoT 方法相当，但生成的标记数量大幅减少（9.0 个 vs. 92.5 个）。 ProsQA （复杂逻辑推理）： Coconut 准确率显著领先于 CoT（97.0% vs. 77.5%），在处理复杂规划和多步骤推理任务中表现出显著优势。 Coconut 在 ProsQA 中生成的标记数量为 14.2 个 ，远少于 CoT 的 49.4 个 。 规划能力 ：在复杂任务中，Coconut通过潜在推理表现出更强的规划和路径探索能力。 核心结论 性能提升 Coconut 在多任务上表现优异，尤其在需要复杂推理的任务（如 ProsQA）中，其准确率显著优于传统 CoT。 连续思维链允许模型同时探索多个潜在路径，从而显著降低推理错误率。 推理效率 Coconut 显著减少了推理过程中生成的语言标记数量，使得推理过程更加高效。 在推理时间上，Coconut 比传统 CoT 方法快得多，适合处理大规模或复杂的推理任务。 潜在空间的优势 Coconut 跳出了语言推理的限制，让推理过程在潜在空间中进行，使模型能够： 避免生成不必要的标记。 更好地规划和回溯，逐步淘汰错误路径。 多阶段训练的重要性 实验表明，逐步从语言推理过渡到潜在推理（多阶段训练）对 Coconut 的高效表现至关重要。 不使用多阶段训练的 Coconut 性能显著下降，说明这种训练策略是实现潜在推理的关键。 适用性与潜力 Coconut 在数学推理、逻辑推理和复杂规划任务中均表现出色，显示出广泛的适用性。 它为未来的潜在推理研究提供了新方向，比如： 更复杂的多任务推理。 在预训练中直接引入潜在推理链。 论文： https://arxiv.org/pdf/2412.06769

Menu

分类

Coconut：连续思维链一种新的大语言模型推理方法直接在内部思考

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

全面了解和掌握 Midjourney 中的各种摄影灯光照明技巧→ 艺术光照

Moshi：实时语音到语音生成 Transformer 开源模型 160毫秒低延迟支持随时打断和情感表达

Flawless：利用AI创建与原版电影一样沉浸和真实的唇形同步配音版本

STRUCT CHEM：提高大语言模型解决复杂化学问题的能力

YOLOv8：目标检测跟踪模型快速准确识别和定位图像中多个对象

Rendora AI：你只需输入文字就能在几秒钟内生成逼真的3D AI数字人视频

Sketch 推出 Smart Animate 新功能可在原型设计中加入流畅的动画效果

微软开发出数据驱动的AI天气预测模型能准确预报未来 30 天天气情况

Sonic：基于状态空间模型的低延迟实时推理语音生成模型

Higgsfield AI：仅需一张照片生成逼真可控制的视频

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类

Coconut：连续思维链 一种新的大语言模型推理方法 直接在内部思考

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Coconut：连续思维链一种新的大语言模型推理方法直接在内部思考