Claude 引入上下文检索技术大幅提高RAG的性能和检索准确率

为了让 AI 模型在特定环境中更有用，它往往需要访问背景知识。例如，客户支持聊天机器人需要了解它所服务的具体业务，而法律分析机器人则需要知道大量的历史案例。 开发人员通常使用检索增强生成（RAG）来增强 AI 模型的知识。RAG 是一种从知识库中检索相关信息并将其附加到用户提示词的方法，这显著提高了模型的响应。然而，传统的 RAG 解决方案在编码信息时会丢失上下文，导致系统无法从知识库中检索到相关信息。 为了解决这一问题，Anthropic提出了一种显著改善 RAG 检索步骤的方法，称为“ Contextual Retrieval 上下文检索”。该方法使用两种子技术：上下文嵌入（Contextual Embeddings）和上下文 BM25（Contextual BM25）。 通过这两种方法，我们可以将检索失败的次数减少 49%，结合重排序技术后可以进一步减少 67%。这些改进显著提升了检索准确率，从而提高了下游任务的性能。 实验结果显示： 上下文嵌入减少了 35% 的检索失败率 （从 5.7% 降至 3.7%）。 结合上下文嵌入和上下文 BM25 将检索失败率减少 49% （从 5.7% 降至 2.9%）。 Contextual Retrieval的技术原理 Contextual Retrieval 的技术原理是通过为知识库中的每个文档片段（chunk）添加相关的上下文信息，以提高检索的准确性，特别是在大规模知识库或复杂查询中。它结合了两种主要技术： Contextual Embeddings 和 Contextual BM25 ，这两者分别用于处理语义匹配和精确匹配，确保在检索时不会丢失关键上下文信息。 以下是 Contextual Retrieval 的详细技术原理： 1. Contextual Embeddings（上下文嵌入） Contextual Embeddings 是在生成文本片段的语义嵌入之前，为每个片段添加额外的背景信息，从而让模型在检索时能够更准确地理解这些片段的语义和上下文关系。 1.1 文档分块和上下文补充 在传统的 Retrieval-Augmented Generation (RAG) 系统中，知识库会被拆分为多个小的文本块（chunk），每个块通常只包含几百个词。当这些片段被独立嵌入为向量时，片段内部往往缺乏足够的背景信息，可能导致上下文丢失。例如，一个片段可能只包含“收入增长了3%”，而没有说明具体是哪家公司或哪个时间段。 Contextual Embeddings 通过为每个文本片段生成简短的上下文描述来解决这个问题。具体步骤如下： 为片段添加上下文 ：将片段的上下文（如文档的标题、公司名称、时间等）添加到片段前，形成一个更完整的语义单元。例如，将“收入增长了3%”补充为“这是ACME公司2023年第二季度的财报：收入增长了3%”。 生成语义嵌入 ：在为每个片段补充了上下文信息之后，将这些片段转换为向量嵌入，表示其语义信息。这些嵌入向量可以更好地反映片段的完整含义，使得在检索时，模型能够更准确地捕捉到与查询相关的内容。 1.2 上下文生成 上下文的生成通常是通过预训练的语言模型（如Claude）自动完成的。开发者通过编写提示词（prompt）来指示模型为每个片段生成相应的背景描述，而不是手动为每个片段添加上下文。这大大提高了处理大规模知识库的效率。 2. Contextual BM25 BM25 是一种经典的文本匹配算法，用于处理特定短语或术语的精确匹配。在 Contextual Retrieval 中，BM25 被用来解决嵌入模型可能忽略的特定匹配问题。例如，嵌入模型通常擅长捕捉广义的语义相似性，但可能错过查询中的精确匹配（如技术术语、代码、错误码等）。 2.1 BM25 的工作原理 BM25 基于 词频-逆文档频率 （TF-IDF）的改进，用于计算查询词语与文档片段之间的匹配度。它通过以下几个步骤来实现精确匹配： 词频统计 ：BM25 计算文档中每个词语的出现频率，衡量每个词在文档中的重要性。常见词（如“the”、“a”）的影响较小，而技术术语或专有名词的重要性较高。 文档长度归一化 ：BM25 考虑文档长度的影响，避免长文档因为包含更多词而获得过高的评分。它通过对词频进行归一化处理，使得短文档和长文档的匹配更公平。 2.2 Contextual BM25 的结合 Contextual Retrieval 通过将 BM25 与嵌入模型结合，实现精确匹配与语义匹配的双重效果： 语义匹配 ：嵌入模型通过生成语义嵌入，捕捉查询与知识库片段之间的语义相似性。 精确匹配 ：BM25 则用于捕捉查询中的特定词语或短语（如错误码“TS-999”）与文档中的直接匹配。 Contextual Retrieval 将这两种方法的结果进行融合，确保模型能够既进行语义推理，又不会忽略查询中的关键字。 3. 上下文增强的检索流程 在 Contextual Retrieval 中，整个检索流程包括以下步骤： 分块和上下文生成 ： 将知识库拆分为多个小块，每个块不超过几百个词。 使用模型为每个块生成上下文描述，确保片段在检索时包含足够的背景信息。 生成嵌入和 BM25 索引 ： 通过嵌入模型（如 Gemini 或 Voyage）将每个带有上下文的片段转换为语义嵌入向量。 同时为每个片段生成 BM25 索引，用于后续的精确匹配。 检索和排序 ： 当用户输入查询时，模型先在向量数据库中通过嵌入模型进行语义检索，找到与查询语义最接近的片段。 同时，BM25 系统会根据查询中的精确词语进行检索，找到词语匹配的文档。 将语义检索结果与 BM25 的精确匹配结果进行融合，并对结果进行重新排序。 上下文融合与生成 ： 选取最相关的片段，并将这些片段添加到生成模型的输入提示中，生成最终的响应。 4. 重新排序（Reranking）技术的应用 为了进一步提升 Contextual Retrieval 的准确性，重新排序（Reranking）技术被引入到检索流程中。具体来说，在初步检索获得多个候选片段后，重新排序模型会根据片段的相关性和重要性对它们进行评分，确保最相关的片段排在前面。这一步骤可以优化检索结果，并减少处理冗余信息的开销。 在最后一步，可以将上下文检索与另一项技术结合，进一步提高性能。在传统 RAG 中，AI 系统会搜索其知识库以找到潜在相关的信息块。对于大型知识库，这一初始检索通常会返回大量文本块——有时是数百个——其中相关性和重要性各不相同。 重排序是常用的过滤技术，以确保只有最相关的文本块传递给模型。重排序不仅提供了更好的响应，还能减少成本和延迟，因为模型处理的信息更少。关键步骤如下： 进行初步检索以获得最可能相关的文本块（使用了前 150 个）； 将前 N 个文本块与用户查询一起传递给重排序模型； 使用重排序模型根据文本块与提示的相关性和重要性为每个文本块打分，然后选择前 K 个文本块（我们使用了前 20 个）； 将前 K 个文本块作为上下文传递给模型，以生成最终结果。 结合上下文检索和重新排序最大化检索准确性

成本和延迟考虑 使用重排序时的一个重要考虑因素是对延迟和成本的影响，尤其是当需要重排序大量文本块时。由于重排序在运行时增加了额外步骤，不可避免地会增加一点延迟，尽管重排序模型会并行评分所有文本块。重排序更多文本块会带来更好的性能，但也会增加延迟和成本。我们建议根据您的特定用例进行实验，以找到合适的平衡点。 使用提示缓存来降低上下文检索的成本 在 Contextual Retrieval 中，使用 提示缓存（Prompt Caching） 技术可以显著降低成本和延迟，特别是在处理大规模知识库时。提示缓存通过减少重复操作的开销，有效地优化了检索过程的效率。以下是具体的实现方式和其成本优化的效果： 什么是提示缓存？ 提示缓存是一种优化技术，用于避免每次检索时都重新加载相同的参考文档。通过将常用的提示或文档缓存起来，系统可以在后续的 API 调用中直接引用缓存内容，而无需每次重新处理整个知识库。这大大减少了重复计算，降低了系统的运行成本和延迟。（可以通过阅读 提示缓存手册 来了解它是如何工作的） 在 Contextual Retrieval 中的作用 在 Contextual Retrieval 中，文档被分割成多个小块，并为每个块添加上下文描述。由于文档片段的上下文可能会在多次检索中被重复使用，提示缓存允许模型在首次检索时生成上下文并缓存这些结果，后续的检索可以直接从缓存中提取上下文信息，而无需重新生成。 如何使用提示缓存？ 以下是提示缓存的工作原理： 首次加载文档 ：当系统首次遇到某个文档时，它会将文档加载到模型中，并根据需要为每个文档片段生成上下文嵌入。 缓存上下文信息 ：这些上下文信息和片段嵌入会被缓存，避免在后续的检索中重复生成。只需引用之前缓存的上下文，模型就可以快速完成检索。 降低计算成本 ：当后续检索调用相同的文档片段时，模型可以从缓存中提取已经生成的上下文，而无需重新处理文档或重新生成嵌入，这大大降低了计算开销。 具体成本优化效果 Anthropic 团队的实验结果显示，使用提示缓存可以显著降低上下文检索的成本和延迟： 降低成本 ：提示缓存能够将生成上下文嵌入的成本降低多达 90% 。假设有一个包含 100 万个文档标记的知识库，生成每个文档片段的上下文和嵌入大约需要 $1.02，而通过缓存，后续检索时几乎不再产生额外成本。 减少延迟 ：提示缓存技术能够将检索过程的延迟减少一半以上（延迟减少超过 2 倍），因为系统不再需要在每次调用时重新生成上下文嵌入或重新加载文档。 如何实现提示缓存？ 提示缓存的实现相对简单，以下是 Anthropic 提供的通用步骤： 缓存加载 ：在首次检索时，将文档及其上下文嵌入存储到缓存中。 缓存引用 ：在后续的 API 调用中，系统直接引用缓存中的内容，而无需重复处理。 定期更新缓存 ：对于经常变化的文档或动态知识库，可以设置定期刷新缓存的机制，确保缓存中的内容始终保持最新。 适用场景 提示缓存特别适用于以下场景： 重复使用的知识库 ：如果某些文档或知识库被频繁访问和检索，提示缓存可以显著减少重复生成上下文嵌入的成本。 大规模知识库 ：在处理超大规模的文档集合时，提示缓存可以有效提高检索效率，减少对计算资源的消耗。 Contextual Retrieval 的技术优势 Contextual Retrieval 相比传统的检索增强生成（RAG）系统，在以下几个关键方面展现出显著的技术优势： 1. 上下文完整性提升 传统的 RAG 系统在将文档拆分为小块进行处理时，容易丢失片段的上下文信息。这会导致检索出的片段缺乏关键的背景，降低检索结果的相关性和准确性。Contextual Retrieval 通过为每个片段自动生成上下文解释，确保在分块时保留足够的背景信息。 技术优势 ： 通过为每个片段添加具体的上下文（如公司名称、时间、事件等），确保片段在检索时能提供完整的背景信息，避免信息碎片化。 增强了片段的语义连贯性，使检索系统能够更准确地理解查询和文档之间的关系。 2. 精确匹配与语义匹配的结合 Contextual Retrieval 结合了 Contextual Embeddings （上下文嵌入）和 BM25 （一种精确的词语匹配算法），实现了语义匹配和精确匹配的平衡。 技术优势 ： Contextual Embeddings 提供了语义上的深度理解，能够处理复杂的自然语言查询，捕捉查询与文档片段之间的语义关系。 BM25 提供了基于精确词语或短语的匹配，特别适用于处理包含技术术语、代码、错误码等需要精确定位的查询。 两者结合使系统既能处理广泛的语义相似性，又能确保对关键字或短语的精确检索。 3. 更高的检索准确性 实验表明，使用 Contextual Retrieval 的系统相比传统 RAG 方案能够大幅度降低检索失败率。通过上下文补充和多重检索技术，系统能够更准确地找到最相关的片段。 技术优势 ： 上下文嵌入减少了对不相关或部分匹配片段的误检，提升了系统检索的精确度。 结合上下文 BM25 技术，能够在处理技术查询、标识符和精确文本匹配时表现更出色，使检索准确性大幅提高。 在复杂查询场景中，Contextual Retrieval 将检索失败率降低了 49%，结合重新排序（Reranking）技术后，这一比例甚至下降到 67%。 4. 可扩展性与效率提升 对于大规模知识库，Contextual Retrieval 提供了一种高效的处理方式，特别适合那些无法直接将所有信息嵌入提示中的情况。通过上下文增强的检索方法，可以在不显著增加系统复杂度的情况下有效处理大规模数据。 技术优势 ： 支持大规模知识库 ：即使是数百万个文档的知识库，Contextual Retrieval 仍能高效处理，确保系统在面对庞大数据时能够准确找到相关片段。 成本和效率提升 ：通过 Claude 的 Prompt Caching 技术，Contextual Retrieval 在多次检索同一知识库时可以显著降低计算开销和延迟，提高系统效率。 5. 可重排序（Reranking）增强 在 Contextual Retrieval 中，重新排序（Reranking）技术进一步提高了检索结果的相关性。通过对初步检索到的片段进行评分和排序，系统能够确保最终输出的片段是与用户查询最相关的。 技术优势 ： 更精准的检索结果 ：重新排序技术能够过滤掉低相关度的片段，并优先选择最相关的内容，进一步提升了模型生成答案的质量。 降低冗余信息 ：减少了系统处理的无关或次相关片段，优化了计算资源使用，同时加快了生成速度。 重排序后的上下文嵌入和上下文 BM25 将前 20 文本块的检索失败率降低了 67% （5.7% → 1.9%）。 重排序后的上下文嵌入和上下文 BM25 将前 20 文本块的检索失败率降低了 67%。

6. 易于实现和适应性强 Contextual Retrieval 通过自动化生成上下文，并与现有的检索系统如 RAG 轻松结合，使开发者能够快速部署该技术。 技术优势 ： 自动化上下文生成 ：无需手动为每个片段添加上下文信息，开发者可以通过预设的提示词（prompt）自动生成上下文描述，适应不同领域的应用需求。 与现有技术兼容 ：Contextual Retrieval 能够与嵌入模型、BM25、以及重新排序模型灵活组合，开发者可以根据具体的需求调整这些模块，获得最优的检索效果。 总结 Contextual Retrieval 的技术优势体现在以下方面： 上下文完整性 ：确保片段在检索时包含足够的背景信息，减少信息丢失。 精确与语义匹配结合 ：通过结合 Contextual Embeddings 和 BM25，实现语义推理和精确词语匹配的平衡。 提高检索准确性 ：在复杂查询场景下显著提升检索的精确度，降低检索失败率。 高效处理大规模知识库 ：即使面对庞大的知识库，Contextual Retrieval 仍能高效运作，适用于广泛的应用场景。 重新排序技术增强 ：通过重新排序技术进一步优化检索结果的相关性和准确性。 易于实现与应用 ：开发者可以通过自动化的上下文生成和模块化的检索组合，快速部署 Contextual Retrieval 技术。 这些优势使 Contextual Retrieval 成为提升大规模知识库检索效率和准确性的理想方案，适用于需要高精度信息检索和复杂查询处理的场景。 实验结果 在 Contextual Retrieval 的实验中，Anthropic 团队对其性能进行了深入测试，结果表明这项技术显著提高了检索准确性和效率。以下是实验结果的具体表现： 1. Contextual Embeddings 的实验结果 通过引入上下文到每个文本片段，Contextual Embeddings 的效果得到了显著提升。主要的实验结果显示： 检索失败率下降了 35% ：通过为每个文本片段添加上下文信息，使检索模型能够更准确地理解查询的语义，导致检索失败率从 5.7% 下降到 3.7%。 语义检索表现增强 ：Contextual Embeddings 在语义相似性任务上表现出色，能够更好地捕捉文本片段与查询的上下文相关性，特别是在长篇文档或复杂查询场景下。 2. Contextual Embeddings + BM25 的实验结果 在结合了 BM25 （一种精确词语匹配算法）之后，Contextual Retrieval 在实验中进一步提高了检索性能。主要表现为： 检索失败率下降了 49% ：通过将上下文嵌入和 BM25 技术结合使用，系统在语义匹配和精确匹配之间取得了良好平衡，检索失败率从 5.7% 下降到 2.9%。 更精准的精确匹配 ：BM25 的引入使系统在处理技术术语、代码标识符或具体的错误码等精确匹配时表现更加出色，尤其是在需要精确检索特定术语的场景中。 3. 重新排序（Reranking）的实验结果 重新排序技术的加入进一步提升了系统的检索效果。通过对初步检索的片段进行重新排序，确保最相关的片段被优先处理。实验结果显示： 检索失败率下降了 67% ：在结合重新排序之后，系统的检索失败率从 5.7% 降到了 1.9%。这意味着系统能够更加准确地找到与查询最相关的文本片段。 进一步提升查询结果的相关性 ：重新排序技术确保模型处理的信息更加精确，减少了不相关信息对生成结果的干扰，提高了系统生成的答案质量。 4. 跨领域实验表现 实验涵盖了不同的领域，包括 代码库 、 小说 、 ArXiv 论文 、 科学论文 等。结果显示，在所有领域中，Contextual Retrieval 都显著提升了检索表现。（ 附录 II 中包含了一些每个领域的提问和回答示例。） 在 Retrieval@20 上的表现 ：在评估中，系统的 Recall@20 （即在前20个检索结果中找到相关信息的能力）有显著提高，结合上下文检索和重新排序后，平均性能提升了 67%。 跨领域一致性表现 ：无论是处理技术文档还是非技术文档，Contextual Retrieval 在所有数据集中的表现都有大幅改进，说明了其广泛的适用性。 5. 实验总结 Contextual Embeddings 和 Contextual BM25 的结合 ：结合了上下文嵌入和精确匹配的 Contextual Retrieval 大幅降低了检索失败率，提高了系统在复杂知识库中的检索能力。 重新排序进一步提升 ：通过加入重新排序技术，系统检索的相关性和准确性得到了显著增强，特别是在大规模知识库中。 适用于多个领域 ：实验结果表明，无论是处理技术性文档还是非技术性文档，Contextual Retrieval 在所有场景下的检索效果都有大幅提升。 这表明 Contextual Retrieval 在改进大规模知识库的检索任务中表现优越，特别适用于需要高精度检索的复杂查询场景。 结论 通过进行了大量测试，比较了所有上述技术的不同组合（嵌入模型、BM25 的使用、上下文检索的使用、重排序的使用以及检索到的顶级 K 个结果的总数），涵盖了各种不同的数据集类型。以下是我们的发现总结： 嵌入+BM25 比单独使用嵌入效果更好； Voyage 和 Gemini 是我们测试过的嵌入模型中最好的； 将前 20 个文本块传递给模型比仅传递前 10 个或前 5 个更有效； 向文本块添加上下文大大提高了检索准确率； 重排序比不重排序效果更好； 所有这些改进是可以叠加的 ：为了最大化性能提升，我们可以结合使用上下文嵌入（来自 Voyage 或 Gemini）、上下文 BM25、加上重排序步骤，并将 20 个文本块添加到提示中。 正在使用知识库的开发者可以通过 使用手册 实验这些方法，以解锁新的性能水平。 附录 I 以下是各个数据集、嵌入提供者、是否使用 BM25、是否使用上下文检索、是否使用重排序的 Retrievals @ 20 的结果分解。 有关 Retrievals @ 10 和 @ 5 的分解结果，以及每个数据集的提问和回答示例，请参阅 附录 II 。 原文： https://www.anthropic.com/news/contextual-retrieval