Meta AI最新研究：通过同时预测多个未来标记提升模型推理速度和性能

Meta AI发表了一篇论文，研究了一种新的训练大型语言模型的方法，即通过预测多个未来标记来提高模型的效率和性能。这里的“标记”指的是词或者词组成分，而传统的模型通常只预测下一个标记。研究发现，让模型同时预测接下来的多个标记，可以帮助模型更好地学习和理解语言，从而在各种任务，特别是编程和自然语言处理任务上表现更好。

主要的改进点包括：

更高的样本效率 ：模型通过预测多个标记，而不仅仅是下一个标记，可以更有效地学习数据，提高了训练的效率。 推理速度快 ：在实际使用中，这种方法可以使模型的推理速度提高三倍，这对于需要快速响应的应用尤为重要。 更好的性能 ：在编程和自然语言的基准测试中，这种方法训练的模型能解决更多的问题，表现出更强的性能。 简而言之，这项研究通过改变训练语言模型的方式，显著提升了模型处理大规模数据的能力和效率。

技术方法 该研究的详细方法包括以下几个核心部分，它们共同定义了一种新的训练大型语言模型（LLM）的框架，主要通过多标记预测来增强模型的学习和推理能力：

1. 多标记预测任务 在传统的语言模型训练中，模型被训练为根据之前的文本来预测下一个标记（例如单词或字符）。而在这项研究中，模型被训练以同时预测接下来的多个标记。具体来说，对于训练中的每个位置，模型不仅预测下一个标记，而且预测接下来的n个标记。这种方法扩展了模型的视野，迫使它考虑更长范围内的上下文和依赖关系。

2. 独立的输出头和共享主干 研究中使用的架构包括一个共享的主干网络和多个独立的输出头。共享主干网络负责处理输入的文本并生成一个通用的隐藏状态或表示，该表示随后被用于多个输出头。每个输出头负责预测一个特定的未来标记，这些输出头并行工作，从共享的隐藏状态中提取必要的信息来做出预测。

3. 训练和推理改进 训练阶段 ：在训练过程中，每个标记的预测都通过其对应的输出头独立进行，这意味着模型可以同时学习预测多个未来标记的能力。这种方法可以提高训练效率，因为它通过并行处理减少了所需的总训练时间。 推理阶段 ：在实际应用中，尽管模型被训练为预测多个标记，但可以选择只使用下一个标记的预测输出头进行标准的自回归推理，或者利用所有输出头来加速推理过程。 4. 性能优化 研究结果表明，这种多标记预测方法特别适用于大型模型，并在复杂任务（如编程任务）上表现出较传统方法更好的性能。模型在进行多标记预测的训练中展示了对更长期依赖关系的理解，这在推理时转化为更快的处理速度和更准确的输出。