STRUCT CHEM：提高大语言模型解决复杂化学问题的能力

STRUCT CHEM是为了解决大语言模型（LLMs）在复杂化学问题推理中遇到的挑战而设计的一种策略。虽然LLMs（如GPT-4）具有丰富的领域知识，但它们在没有明确推理结构的指导下，很难有效地利用这些知识进行准确推理。这通常导致LLMs在解决需要综合利用不同概念和进行精确计算的复杂化学问题时出现错误。 STRUCT CHEM通过提供一种简单但有效的提示策略，为LLMs提供了所需的结构化引导，以增强其在化学推理方面的能力。这个策略的核心在于它显式地将推理过程分解为 三个阶段 ： 公式生成阶段 ：在这一阶段，LLM集中于生成解决问题所需的基本化学公式。通过明确询问LLM输出相关公式，STRUCT CHEM利用了LLMs内部已编码的化学知识，为后续的推理步骤打下了基础。就像是在做数学题之前，先要确定用哪个公式一样。这个阶段确保了后续推理的基础是建立在正确的知识上。

逐步推理阶段 ：有了这些公式之后，模型会根据这些公式进行详细的、一步步的推理过程，逐渐接近问题的答案。这就像是根据公式一步一步计算，逐渐解决问题。这一阶段涉及利用第一阶段生成的公式，进行多步骤的推导，确保推理过程的精确性。

基于信心的复审和精炼阶段 ：最后一个阶段是对前面的推理结果进行复查和优化。与最近的自我验证方法不同，STRUCT CHEM采用了一种显式估算每次修订的信心分数，并迭代提高信心水平，以得到最终的高质量答案。STRUCT CHEM会评估每次修正的可靠性，并只有在足够有信心的情况下才接受这次修正，以确保最终给出的答案是高质量的。这有点像是做完题目后，再仔细检查一遍，确保每一步都是正确的。

[video width="1920" height="1080" m4v="https://img.xiaohu.ai/2024/03/method.m4v"][/video] STRUCT CHEM的主要能力 增强LLMs的化学推理能力 ：通过提供结构化引导，STRUCT CHEM显著提升了LLMs在复杂化学问题上的推理能力。 减少推理错误 ：通过将推理过程明确分解为三个阶段，并引入基于信心的复审和精炼机制，STRUCT CHEM能够有效减少LLMs在化学推理过程中的错误。 适用于不同的化学子领域 ：STRUCT CHEM在量子化学、力学、物理化学和动力学等多个化学子领域中的测试表现出了良好的效果，证明了其广泛的适用性。 总之，STRUCT CHEM通过为LLMs提供明确的结构化推理指导，显著增强了它们解决复杂化学问题的能力。这种策略不仅减少了推理错误，还为如何提高LLMs在科学领域内进行更精确和基于事实的推理提供了有价值的见解。 实验结果 性能提升 ：在四个化学领域的测试中——包括量子化学、力学、物理化学和动力学——STRUCT CHEM对GPT-4性能的提升显著，峰值改善达到了30%。这表明STRUCT CHEM能够有效地减少推理错误，特别是在需要复杂计算和深度知识理解的问题上。在GPT-3.5和GPT-4上，StructChem都取得了显著的性能提升，尤其是在少数样本设置中，性能提升更加显著。

错误减少 ：通过STRUCT CHEM策略，LLMs在化学推理过程中犯的错误显著减少。该策略通过三个明确定义的阶段（公式生成、逐步推理、基于信心的复审和精炼）优化了LLMs的推理过程，提高了解答复杂化学问题的准确性。

复杂问题解决： 在处理需要深层次推理、步骤较多的复杂化学问题时，StructChem同样能带来显著的性能提升。这意味着StructChem不仅能帮助模型处理简单的问题，还能帮助它们解决更复杂、需要更多逻辑推理的问题。 广泛适用性 ：STRUCT CHEM不仅在特定的化学问题上表现出色，而且在不同的化学子领域中都显示了良好的性能。这说明了STRUCT CHEM策略的广泛适用性和有效性，能够被用来解决一系列复杂的化学推理问题。

模型兼容性 ：尽管研究主要以GPT-4为例进行测试，但STRUCT CHEM的设计原则和方法论有潜力与不同版本的LLMs（如GPT-3.5）或其他类型的语言模型一起使用，以提高它们在科学领域的推理能力。

教会小模型推理： StructChem还能用来教授较小的开源模型如何进行推理。通过将GPT-4生成的化学问题作为这些小模型的学习材料，再配合StructChem生成的推理过程，这些小模型在解决化学问题上的表现得到了显著提升。这说明StructChem不仅对大型模型有效，也可以作为一种教学工具，帮助提高较小模型的能力。 一些启示 指导和检查很重要 ：StructChem用一种有组织的方式指导语言模型（像是GPT-3.5和GPT-4）思考化学问题，然后再仔细检查这些思考过程，确保没有犯错误。这种方法在模型几乎没有或只有很少的例子可以学习时，效果特别好。