让 AI 像人类一样通过试错法学习决策和推理提高其逻辑推理和数学能力

随着人工智能的快速发展，诸如GPT-4和LLaMA等大语言模型在自然语言处理能力方面取得了显著进步。这些模型展示了出色的语言理解和生成能力，尤其是在推理和上下文学习方面。然而，大语言模型在要求战略和逻辑推理的领域仍然面临挑战，特别是在数学推理任务中，精确性和可信度的问题尤为突出。

LLMs在复杂数学推理任务中面临以下几个主要挑战：

准确性 ：在数学推理任务中，精确性至关重要。传统LLMs往往容易生成表面上合理但实际不正确的输出（即“幻觉”）。 可靠性 ：LLMs在多步骤推理和复杂决策中可能出现不可靠的结果。 探索与利用的平衡 ：在巨大且连续的动作空间中，如何有效地探索并利用最佳决策路径。 复旦大学人工智能实验室和上海人工智能实验室的研究人员开发了一种名为 MCT Self-Refine (MCTSr)的算法 ，将大语言模型与蒙特卡洛树（MCTS）搜索结合起来，以增强模型在数学推理任务上的性能，尤其是奥林匹克级别的数学问题。

这种算法让智能体可以 像人类一样通过试错法学习决策和推理。

人类在学习新技能或解决复杂问题时，通常会使用试错法。例如，学习骑自行车时，人们会反复尝试保持平衡，摔倒后总结经验，直到能够熟练骑车。同样，智能体通过试错法逐渐改进其决策和推理能力。

通过反复尝试不同的方法和策略，智能体能够不断改进其性能，最终达到解决复杂问题的目标。具体来说，在论文中提到的MCTS算法中， 智能体通过不断探索不同的解答路径、模拟结果、反向传播反馈信息，逐步优化其决策和推理能力，从而在复杂数学问题上取得更好的表现。

在多个数学推理数据集上的实验表明，MCTSr显著提高了LLMs在复杂数学问题上的成功率。 尤其在奥林匹克级别的数学问题上，MCTSr表现出了较强的适应性和改进效果。 举例解释 MCTSr算法的工作原理可以用一个简单易懂的比喻来解释，类似于人类通过试错法学习和改进的过程。 比喻：智能体像学生一样学习解数学题 1. 初始尝试 想象一个学生第一次尝试解一道复杂的数学题。他可能不知道从哪里开始，所以他先写下一个简单的答案，甚至可能是“我不知道怎么解这道题”。 2. 选择最有前途的思路 接下来，学生根据已有的知识，选择几个可能的解题思路，比如尝试使用不同的方法（如归纳法、反证法等）。他会先选择一个看起来最有希望的方法进行尝试。 3. 细化和扩展思路 学生在选择的方法基础上进行更详细的推导和计算，扩展他的解题思路。例如，他可能会假设一个特定的情况来进行推导，看看结果是否成立。 4. 检验结果 学生根据推导出的结果进行检查，看看是否正确。如果发现错误，他会记下这个错误，并尝试另一种方法。 5. 反思和改进 在每次尝试之后，学生会反思为什么这个方法不成功，并在下一次尝试时改进他的思路。比如，如果反证法失败了，他可能会改用归纳法。 6. 更新和优化 通过多次尝试和改进，学生逐渐找到了解题的正确方法。他会记录每次尝试的结果，并根据这些结果优化他的解题策略。 7. 最终答案 经过一系列的尝试、错误和改进，学生最终找到一个正确且有效的解题方法，成功解决了这个复杂的数学问题。 MCTSr算法的工作流程 初始化 : 算法首先生成一个简单的初始答案，作为解题的起点。 选择 : 算法根据已有信息，选择最有前途的路径进行进一步探索。 扩展 : 在选择的路径上，算法细化并扩展解题思路，尝试不同的方法。 模拟和评估 : 算法模拟每种方法的结果，并进行评估，看哪种方法更有效。 反向传播 : 将评估结果反馈到整个决策树中，更新每个节点的价值信息。 自我优化 : 根据反馈信息，算法不断改进其解题策略和答案。 迭代更新 : 反复进行上述步骤，直到找到一个满意的答案。 Monte Carlo树搜索（MCTS） 定义 ：Monte Carlo树搜索（Monte Carlo Tree Search，MCTS）是一种基于概率和树搜索的决策算法，广泛应用于游戏、优化和复杂决策问题中。它通过模拟未来的可能性来评估不同的决策路径，以找到最佳解决方案。 功能 ：MCTS通过构建一个搜索树，包含四个主要阶段：选择（Selection）、扩展（Expansion）、模拟（Simulation）和回传（Backpropagation），以估计每个决策路径的潜在价值。 主要功能

系统性探索 ：MCTS通过构建搜索树，系统地探索所有可能的决策路径。 模拟未来 ：通过模拟未来可能的动作序列，估计每个决策的潜在结果。 平衡探索与利用 ：通过使用上置信界（Upper Confidence Bound, UCB）公式，平衡对未知路径的探索和对已知路径的利用。 逐步改进 ：通过迭代地扩展和评估搜索树，不断改进对最佳决策路径的估计。 MCTS的四个主要阶段

选择（Selection） ：

从根节点开始，基于特定策略（如UCB公式），选择最有前途的子节点，一直选择到达叶节点。 扩展（Expansion） ：

如果所选择的叶节点不是终止节点，则扩展该节点，添加一个或多个子节点，代表可能的未来动作。 模拟（Simulation） ：

从新扩展的节点开始，通过随机选择动作进行模拟，直到达到终止状态（如游戏结束），评估该节点的潜在价值。 回传（Backpropagation） ：

将模拟结果的价值从叶节点回传到根节点，更新经过路径上每个节点的统计信息（如胜利次数、访问次数）。 具体例子：在围棋中的应用

围棋是一种策略复杂的棋类游戏，MCTS在AlphaGo中的应用展示了其强大功能。

选择 ：

从当前棋盘状态开始，选择一个子节点代表一个可能的下一步动作，继续选择直到到达一个未完全展开的节点。 扩展 ：

在选择的节点处，扩展该节点，生成一个新的子节点，代表一个新的可能棋步。 模拟 ：

从新扩展的节点开始，通过模拟对弈（随机落子）进行评估，直到一方获胜或棋局结束，评估这一步棋的潜在结果。 回传 ：

将模拟对弈的结果（如胜利或失败）回传到路径上的每个节点，更新这些节点的胜利次数和访问次数。 通过反复执行上述步骤，MCTS可以逐渐构建出一个包含大量可能棋步和结果的搜索树，从而为每一步棋提供有价值的决策依据。在AlphaGo中，MCTS结合深度神经网络进一步增强了其评估和决策能力，使其能够在围棋中击败人类顶级棋手。

将LLMs与MCTS结合的工作原理 核心思想 结合的基本思想是利用MCTS的系统性探索和决策机制，结合大语言模型（LLMs）的强大生成和推理能力，以提高在复杂任务（如数学推理）中的性能和准确性。具体来说，MCTS提供了一个系统的框架，通过模拟和评估多个潜在的解答路径来优化决策过程，而LLMs通过生成自然语言的答案和自我优化来提供这些路径的具体内容。通过这种结合，可以在复杂问题上实现更有效的探索和精确的答案生成。 工作原理 MCTS的基本原理 选择 (Selection) : 从根节点出发，根据特定策略（如UCT算法）选择具有最大潜力的子节点，直到到达叶节点。 扩展 (Expansion) : 在叶节点处，添加一个或多个新的子节点，表示未来可能的动作。 模拟 (Simulation) : 从新添加的节点出发，通过随机选择动作进行模拟，直到达到终止状态，评估该节点的潜在价值。 反向传播 (Backpropagation) : 将模拟结果（如胜利、失败或平局）从叶节点反向传播回根节点，更新经过路径上每个节点的统计信息（如胜利次数）。 LLMs的基本功能 生成 (Generation) : LLMs可以根据输入生成自然语言的回答，涵盖从简单回答到复杂推理。 自我优化 (Self-Refine) : LLMs通过自我反思和反馈机制，不断优化生成的答案，提高准确性。 自我评价 (Self-Evaluation) : LLMs可以对生成的答案进行评分，提供质量评估。 MCT Self-Refine (MCTSr) 算法的工作流程 初始化 ：

从根节点开始，使用初始答案或虚拟响应（例如“我不知道”）来避免模型过拟合。 选择（Selection） ：

使用值函数Q对所有未完全扩展的答案进行排序，选择价值最高的节点进行进一步探索和优化。 选择阶段利用改进的UCT公式，平衡探索和利用，通过选择那些既有潜力又未充分探索的节点。 自我优化（Self-Refine） ：

选定的答案通过自我优化框架进行优化。LLMs生成反馈意见，指导优化过程以改进答案。 该过程采用多轮对话形式，LLMs生成对当前答案的反思或批评，然后根据这些反馈对答案进行改进。 自我评估（Self-Evaluation） ：

优化后的答案会被评分，以抽取奖励值并计算其Q值。自我评估过程包括模型的自我奖励反馈，并设置严格的评分标准。 为了确保评分的可靠性，引入了一些约束条件，如禁止给出满分评分和多次采样奖励。 回传（Backpropagation） ：

优化后的答案价值从叶节点回传到根节点，更新路径上每个节点的统计信息（如胜利次数、访问次数）。 回传过程中，子节点的Q值变化会影响父节点的Q值，通过这种方式逐层更新整个搜索树。 UCT更新 ：

在所有节点的Q值更新后，使用UCT公式更新所有节点的UCT值，为下一轮选择阶段做准备。 让我们用更通俗的方式解释MCTSr的工作原理。通过一个简单的例子来说明。

例子：

假设我们有一个数学问题： “求解一个二次方程的根，例如x^2 - 5x + 6 = 0。”

MCTSr的工作流程

初始化

我们从一个简单的初始答案开始，比如“根是2和3”。 这就像是我们随便猜了一个答案。 选择（Selection）

现在，我们需要评估这个答案的质量。首先选择这个答案进行进一步优化。 就像是在问自己：“这个答案到底好不好？我们怎么改进它？” 自我优化（Self-Refine）

大语言模型（像是GPT-4）会生成一些反馈，告诉我们这个答案哪里需要改进。 比如模型说：“这个答案看起来不错，但没有证明步骤。请添加详细步骤。” 我们根据反馈，改进答案，生成一个新的答案：“通过因式分解，x^2 - 5x + 6 = (x - 2)(x - 3)，所以根是2和3。” 自我评估（Self-Evaluation）

接下来，模型会对这个改进的答案进行评分。比如它会说：“这个答案现在有了步骤，但解释还不够详细，给它80分。” 评分的目的是检查答案的质量，并且可以多次评分来确保准确。 回传（Backpropagation）

模型将评分结果“传递”回去，告诉我们这次改进是否比上一次更好。 如果评分提高了，我们就知道这个答案更好了。 UCT更新（UCT Update）

更新所有可能答案的评分，为下一轮选择做准备。 继续从当前的答案出发，选择新的改进方向，重复以上过程。 通过多次迭代，我们不断改进答案。比如：

初始答案：“根是2和3。”（简单猜测） 第一次优化：“通过因式分解，x^2 - 5x + 6 = (x - 2)(x - 3)，所以根是2和3。”（加了步骤） 第二次优化：“通过因式分解，我们得到(x - 2)(x - 3) = 0，所以x = 2或x = 3。这两个解满足原方程。”（解释更详细） 最终，MCTSr生成的答案不仅更全面而且更准确，通过系统的优化过程，确保了解题过程的准确性和可靠性。

简而言之，MCTSr就像是在不断改进我们的答案。每次猜一个答案，然后让模型告诉我们哪里需要改进，再继续优化，直到得到一个非常好的答案。这个过程帮助我们更好地解决复杂问题。

结合的优势 系统性探索与生成 ：

LLMs生成候选答案 ：LLMs用于生成候选答案或解决方案。 MCTS探索与评估 ：MCTS用于系统地探索这些候选答案，通过模拟和评估，寻找最优解。 优化决策路径 ：

LLMs自我优化 ：LLMs通过自我反馈机制，对生成的答案进行优化和改进。 MCTS回传机制 ：MCTS通过回传机制，将优化后的答案信息传递到搜索树的其他部分，更新决策路径的价值。 改进探索与利用的平衡 ：

改进的UCT公式 ：使用改进的UCT（Upper Confidence Bound）公式，在MCTS中优化探索与利用的平衡，确保在广阔的决策空间中有效地选择最优路径。 提高准确性和可靠性 ：

减少LLMs的“幻觉” ：通过MCTS的系统性探索和评估，减少LLMs生成表面上合理但实际上不正确的答案。 提高决策的可靠性 ：通过多次模拟和评估，提高复杂任务中的决策可靠性。 实验结果 采用LLaMA3-8B模型进行实验，并与GPT-4、Claude 3和Gemini 1.5-Pro等最新闭源模型进行比较。 数据集包括GSM8K、GSM Hard、MATH、AIME、Math Odyssey和OlympiadBench。 MCTSr算法在多个数据集上的实验结果显示，其在复杂数学推理任务中的性能得到了显著提高。以下是主要的实验结果和分析：

GSM数据集

GSM8K和GSM Hard

GSM8K和GSM Hard数据集包含典型和具有挑战性的数学问题。 实验比较了不同配置下的LLMs性能，包括Zero-Shot CoT、自我优化、4次MCTSr和8次MCTSr。 数据集 Zero-Shot CoT 一轮自我优化 4次MCTSr 8次MCTSr 例子数目 GSM8K 74.07% 86.96% 93.03% 96.66% 1319 GSM-Hard 25.47% 33.36% 39.88% 45.49% 1319 结果显示，随着MCTSr迭代次数的增加，成功率显著提高，尤其是在较不复杂的GSM8K数据集中。 GSM8K数据集上，8次迭代MCTSr的成功率接近97%，表现极为优异。 GSM Hard数据集更具挑战性，但MCTSr仍显著提升了模型的成功率，特别是从零样本CoT的25.47%提升到8次迭代MCTSr的45.49%。 MATH数据集

MATH数据集按难度分为五个级别，从最简单的Level-1到最复杂的Level-5。实验评估了不同配置下的LLMs性能。

难度级别 Zero-Shot CoT 一轮自我优化 4次MCTSr 8次MCTSr 例子数目 Level-1 57.21% 71.85% 83.52% 90.16% 437 Level-2 40.60% 53.02% 66.44% 77.40% 894 Level-3 27.32% 40.14% 51.72% 63.57% 1131 Level-4 16.64% 30.31% 43.08% 54.04% 1214 Level-5 7.10% 13.37% 21.90% 34.06% 1324 总体 24.36% 35.74% 47.14% 58.24% 5000 Level-1结果显示，随着MCTSr迭代次数增加，成功率逐步提高，8次MCTSr达到了90.16%的成功率。 在不同难度级别上，MCTSr都表现出显著的性能提升，尤其是在最复杂的Level-5问题上，成功率从零样本CoT的7.10%提升到8次迭代MCTSr的34.06%。 整体上，MCTSr算法显著提高了模型在MATH数据集上的成功率，从零样本CoT的24.36%提升到8次迭代MCTSr的58.24%。 奥林匹克级别数据集 实验在三个奥林匹克级别的数学数据集上进行了测试：AIME、GAIC Math Odyssey和OlympiadBench。

数据集 Zero-Shot CoT 一轮自我优化 4次MCTSr 8次MCTSr 例子数目 AIME 2.36% 4.39% 7.50% 11.79% 933 Math Odyssey 17.22% 30.33% 40.10% 49.36% 389 OlympiadBench 1.25% 3.06% 5.25% 7.76% 1275 在奥林匹克级别的数据集上，MCTSr算法的性能显著优于其他方法，尤其是在Math Odyssey数据集上，8次迭代MCTSr的成功率达到49.36%。 尽管AIME和OlympiadBench数据集难度较高，MCTSr算法仍然显著提升了成功率。 AIME ：从Zero-Shot CoT的2.36%（22个问题）提高到8次MCTSr的11.79%（110个问题）。 Math Odyssey ：从Zero-Shot CoT的17.22%（67个问题）提高到8次MCTSr的49.36%（192个问题）。 OlympiadBench ：从Zero-Shot CoT的1.25%（16个问题）提高到8次MCTSr的7.76%（99个问题）。 与其他大语言模型（如GPT-4、Claude 3、Gemini 1.5-Pro等）相比，MCTSr算法在解决复杂数学问题上的表现更为优异。

比较分析 GSM8K : 随着迭代次数增加，成功率显著提高，达到96.66%。 GSM Hard : 迭代次数增加对复杂问题的提升效果显著，但接近45.49%时出现性能瓶颈。 MATH数据集 : 在各个难度级别上均有显著提升，尤其是在最复杂的第5级问题上，8次迭代成功率达到34.06%。 奥林匹克级别数据集 : MCTSr在这些高难度数据集上的表现显著优于其他方法，特别是在Math Odyssey数据集上成功率达到49.36%。 实验结果表明，MCTSr算法通过多次迭代优化，显著提高了在复杂数学推理任务中的成功率。尤其在奥林匹克级别的数学问题上，MCTSr表现出了较强的适应性和改进效果。这些结果验证了MCTSr算法在学术和问题解决环境中的潜力，并显示了其在不同复杂度问题上的可扩展性和适应性。

MCTSr算法在各个数据集上均显著提高了大规模语言模型在复杂数学问题上的成功率。 随着MCTSr迭代次数的增加，模型性能逐步提升，特别是在较为简单的GSM8K数据集上效果显著。 在更复杂的GSM Hard和奥林匹克级别数据集上，MCTSr也表现出色，但在高迭代次数下可能会遇到性能瓶颈。 这些结果表明，MCTSr算法通过结合系统性探索和自我优化机制，显著提升了大规模语言模型在复杂数学推理任务中的表现。 论文： https://arxiv.org/pdf/2406.07394 GitHub： https://github.com/trotsky1997/MathBlackBox