使用AI 辅助合成数学数据集生成高质量、复杂的困难数学题

随着大语言模型（如GPT-4、Claude等）的发展，LLM在处理数学问题上取得了显著进展。然而，这些模型的能力主要依赖于对公开数据的广泛训练，而高质量、复杂的数学问题数据集越来越稀缺。 现有的模型虽然能在一定程度上理解和生成数学内容，但往往难以生成足够具有挑战性和多样化的问题。 然后大家开始使用大语言模型（LLMs）来合成数据，生成数学题目，但当前方法生成的题目要么过于简单，要么与现有题目太过相似。 论文《AI-Assisted Generation of Difficult Math Questions》展示了一种生成更难数学题目的方法，结合了人工参与以确保正确性。解决了当前数学问题生成中 多样性和难度不足 的问题。 论文通过提出一个结合LLM和人类专家的框架，有效地生成高质量、难度更大的数学问题，具体解决了以下几个核心问题：

难度不足 ：LLM生成的问题通常太过简单或者过于依赖计算，无法真正考察推理能力。 多样性不够 ：现有生成问题的数据集经常重复类似问题，缺乏创新和跨学科的组合。 人类专家的效率问题 ：完全依赖人类专家生成问题效率低，无法大规模扩展。 具体方法 论文提出的核心方法是将两个不同的数学技能组合起来生成“超出分布”的问题，使得这些问题对LLM和人类都具有较高难度。 论文提出了一种新方法：使用LLM的元认知，从现有数据集中提取“数学技能”，并随机组合技能生成更困难的问题。 通过两个前沿 LLM 进行代理交互检验和改进，之后由人类专家进行验证和调整，生成的题集名为 MATH^2。 MATH^2 包含 180 道题目，其中 56% 未被修改，其余经过人类专家的微调或修改，难度远高于 MATH 数据集。 模型在 MATH^2 数据集上的成功率通常是其在 MATH 数据集上成功率的平方，因此数据集得名。 这种方法不仅适用于数学，还可能影响其他需要结构化推理的领域，潜在地改变各领域教育内容的生成方式。 未来前景：自动化更多人类验证过程，扩展框架以生成其他学科的高质量数据，提升 AI 和人类的学习体验。 主要方法是 结合大语言模型（LLM）和人类专家的框架 ，通过多轮生成、验证和优化来生成具有挑战性的数学问题。这个框架的关键步骤包括 技能提取、问题生成、模型解答、问题验证、解决方案生成和再验证 。以下是详细的步骤和方法：

1. 技能提取（Skill Extraction） 1. 技能提取 从现有的数学数据集（如MATH数据集）中提取出核心数学技能。比如“代数”、“几何”等。这些技能是生成新问题的基础。LLM使用最近的元认知技术，从现有的数据集中识别和分类不同的数学技能。 这些技能被用作生成新问题的基础。论文中通过组合两种不同的数学技能，生成跨学科的问题。这种方法可以有效地提高问题的难度和多样性。 2. 技能验证（Skill Pair Validation） 提取出的技能被随机组合。LLM首先对这些组合进行验证，确保这两个技能的应用既独特又不是太相似。 通过对比参考的技能描述和例题，模型会标记出不合适的技能组合。 3. 问题生成（Question Generation） 使用经过验证的技能组合，LLM生成数学问题。这些问题要求使用这两个不同的技能进行解答。 LLM会被提供多个交互示例，展示人类与AI如何共同改进问题，以避免生成不清晰或逻辑不连贯的问题。 4. 模型尝试解答（Solution Attempt） 生成问题后，LLM会尝试解答。模型会以“对抗性”的方式寻找问题中的不足或错误，并在可能的情况下完成问题的解答。 在这个步骤中，模型并不知道所用的技能名称，以确保问题解答的公平性和全面性。 5. 问题验证（Question Validation） LLM验证生成的问题及其解答，确保问题符合预期的质量标准。具体的验证标准包括： 唯一答案 ：问题应该只要求一个明确的答案。 精确答案 ：答案必须是精确的，除非问题允许近似答案。 技能要求 ：问题必须同时需要两个不同的技能来解答，且难度要与参考问题相当或更高。 计算可行性 ：问题不能要求过于复杂的计算，应该可以在合理的时间内解答。 现实性和逻辑性 ：问题场景必须是现实且逻辑一致的。 使用多数投票（Maj @ 4）机制，确保生成的问题经过多次验证，问题和解答都符合标准。 6. 最终解答和再验证（Final Solution and Re-validation） 对于通过验证的问题，LLM会重新解答并生成最终的答案。通过多数投票机制确保答案的准确性和一致性。 任何产生不同答案的情况都可能表明问题存在模糊性或不明确的逻辑，此时该问题会被丢弃。 7. 人类专家验证与优化（Human-AI Collaboration） 人类专家会对生成的问题和解答进行审查，验证问题的有效性，并优化问题的难度和清晰度。人类专家通常会根据LLM生成的问题进行修改，使问题更加有趣或更具挑战性。 人类专家的介入不仅提高了生成问题的质量，还有效提升了问题的多样性。 8. 数据集生成与评估（Dataset Creation and Evaluation） 使用上述方法，论文生成了一个新的数学数据集MATH2，包含了比MATH数据集更具挑战性的问题。 通过对比，MATH2问题使得所有模型的表现都明显下降，验证了其问题的难度和有效性。 举例说明 简单来说这个方法可以理解为一个“人机协作”生成更难数学题目的过程，分为四个简单的步骤： 1. 从现有数学题库中提取技能

首先，利用大型语言模型（LLMs），从现有的数学题库中找到并标记出一些“技能”。这些技能类似于数学里的小知识点，比如代数、几何等。 2. 随机组合技能生成难题

接下来，模型会把这些技能进行随机组合。例如，它可能会把“代数”和“几何”结合在一起，生成一个新题目。因为这样的组合在模型的训练中很少见，这些新题目就会变得特别有挑战性，甚至可能像数学中的复杂定理一样，结合了不同的领域。 3. 两个模型互相检查题目

然后，两个最先进的模型会互相检查对方生成的题目和答案，确保题目是正确的，并且答案也准确无误。 4. 人类专家最后把关

最后，人类专家会查看这些生成的题目，选出最好的，检查答案，有时还会稍微修改问题或答案，确保它们的质量更高。 让我们通过一个简单的例子来解释论文的方法和流程。

例子：生成一个需要“代数”和“几何”的数学问题 提取数学技能 AI从现有的数学题库中提取出“代数”和“几何”这两个技能。比如，代数技能可能是关于方程的解法，几何技能可能是关于三角形的面积计算。

技能组合 AI会将这两个技能组合在一起，准备生成一个同时需要用到这两个技能的问题。这个步骤确保问题需要多种知识，不会太简单。

生成问题 根据这两个技能，AI生成了这样一个问题：

“在一个直角三角形中，已知一条直角边的长度为3，另一条直角边的长度为4。请问这个三角形的斜边长度是多少？接着，设斜边为x，求当x满足方程 x2−5x+6=0x^2 - 5x + 6 = 0 x 2 − 5 x + 6 = 0 时的x值。”

这个问题结合了几何（斜边计算）和代数（解方程）。第一部分是用勾股定理来计算斜边，第二部分则是求解方程，两个技能结合在了一起。

AI尝试解答 AI自己尝试解答这个问题。首先，AI会用勾股定理算出斜边长度为5。然后，AI解方程 x2−5x+6=0x^2 - 5x + 6 = 0 x 2 − 5 x + 6 = 0 ，得到两个解：x=2和x=3。

验证问题 AI对问题进行检查，确保逻辑清晰、问题难度适中，并且每个步骤都有唯一的解。如果发现问题有错误，AI会标记并重新生成。

最终答案和再验证 AI会再次解答这个问题，并通过多次尝试确认答案的正确性。比如，AI会通过多数投票机制确认最常见的答案是正确的。

人类专家的帮助 人类专家审查AI生成的这个问题。专家可能会觉得问题的代数部分有点太简单，决定优化一下，比如把方程改成更复杂的形式，或者加入更多的几何知识，增加挑战性。

生成新数据集 最终，这样的问题被加入到了新的数学题库中。这个题库的问题比原来的数据集更加复杂、更具挑战性，专门用于考察AI的多技能推理能力。

实验结果 结果表明，LLM在新生成的MATH2数据集上的表现较差，而在人类专家的协助下，问题的生成效率和质量得到了显著提高。该框架可以应用于需要结构化推理的其他领域，并有望作为AI监督的可扩展组件。 论文通过实验验证了该方法的效果，结果显示生成的数学问题 显著提高了难度 ，并且在提升AI模型推理能力方面表现出色。以下是具体效果总结：

1. MATH2数据集的难度提升

论文生成了一个新的数学问题数据集，叫做 MATH2 ，这个数据集比原来的MATH数据集问题更难。 在实验中，所有模型（包括先进的LLM如GPT-4、Claude等）在MATH2数据集上的表现比在MATH数据集上表现更差，说明新问题确实更具挑战性。 2. 模型性能下降

实验显示，模型在MATH2数据集上的正确率普遍下降。例如，GPT-4的表现从在MATH数据集的77.21%下降到MATH2的66.85%，这是因为MATH2问题需要组合多种技能，而这些问题比原来更复杂、更难解。 小模型（如MetaMath、MAmmoTH）在MATH2上的表现下降更为显著，说明MATH2对不同规模的模型都构成了挑战。 3. 多技能组合的成功

实验结果表明，MATH2的问题通过组合不同的数学技能（如几何和代数），使得这些问题具有“超出分布”的特性，即这些问题不像模型已经见过的传统问题，因此对AI模型具有更高的挑战性。 AI在这些多技能组合问题上表现出一定的困难，验证了这种生成方法能够考察模型的推理能力，而不是简单的计算能力。 4. 人类专家协作的提升