MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

MindSearch是由上海人工智能实验室开发的一个基于大语言模型（LLM）和搜索引擎相结合的系统，旨在模仿人类在网络上寻找和整合信息的过程。性能可与 Perplexity.ai Pro 相媲美，能够处理超过 300 个网页的长上下文信息。而且是开源的，你可以轻松用它部署来构建您自己的搜索引擎。 🤔 任何问题 ：MindSearch 能帮助你解决生活中遇到的各种问题。 📚 深度知识探索 ：通过浏览数百个网页，提供广泛而深入的答案。 🔍 透明的解决方案路径 ：提供思考路径和搜索关键词，让回答更可信、更实用。 💻 多种用户界面 ：支持 React、Gradio、Streamlit 和本地调试，用户可根据需要选择。 🧠 动态图构建过程 ：将查询分解为图中的子问题节点，并根据搜索结果逐步扩展图。 MindSearch解决了现有搜索引擎无法完全满足复杂人类意图的问题，通过分解问题、分层检索和高效信息整合，使得系统能够在短时间内处理大量信息。 传统搜索引擎在处理复杂的人类意图匹配上存在诸多问题，主要包括： 复杂请求的分解困难 ：大语言模型（LLMs）无法将复杂请求分解为原子查询，导致难以准确和完整地检索相关信息。 海量搜索结果的处理难度 ：搜索结果通常非常庞大，需要专门的预选择步骤。 输入长度限制 ：迭代的网页搜索内容可能迅速超过LLM的最大输入长度。 [video width="1914" height="1080" mp4="https://img.xiaohu.ai/2024/08/mindsearch-mimicking-human-minds-is-the-secret-of-deep-ai-searcher-1080-ytshorts.savetube.me_.mp4"][/video] MindSearch的工作原理 MindSearch 采用多代理协作的设计，使各个代理在各自的任务范围内并行工作： 设计 ：通过将大量信息处理任务分配给不同的代理，实现高效处理。 优势 ：能够处理超过 300 个网页的长上下文信息。 1.多代理框架： 主要包括两个关键组件：WebPlanner 和 WebSearcher 任务分配 ：WebPlanner将子问题分派给多个WebSearcher，每个WebSearcher独立处理一个子问题，减少了单个代理的负担。 信息整合 ：WebPlanner从所有WebSearcher收集信息，并在推理图中逐步添加节点和边，直到最终生成完整的回答。 WebPlanner：模拟人类思维的高层规划者，负责将复杂问题分解成多个子问题，构建一个有向无环图（DAG）来表示问题解决的路径。 角色 ：充当高级规划器。像团队经理一样，分解复杂问题并规划搜索步骤。 功能 ： 复杂问题的分解 ：将复杂问题分解为多个子查询，类似于图节点。WebPlanner通过自然语言处理技术理解用户的复杂查询，并将其分解为更简单、易于处理的原子子问题。例如，对于“如何在大城市中有效开展垃圾分类？”这个问题，WebPlanner可能会分解成多个子问题，如“垃圾分类的最佳实践是什么？”、“大城市垃圾分类面临哪些挑战？”、“有哪些成功的案例？”等。 有向无环图（DAG）的构建 ：根据 WebSearcher 的搜索结果，动态扩展图结构。每个子问题作为DAG中的一个节点，初始查询作为开始节点，最终答案作为结束节点。WebPlanner根据子问题之间的逻辑关系建立节点之间的边，形成一个问题解决路径图。 WebSearcher：执行具体的网络信息检索任务，分层次地从多个网页中获取有价值的信息，并将结果反馈给WebPlanner。 角色 ：执行细粒度的网页搜索。像多个搜查员，分别在网络上找答案，并将有用的信息汇总给WebPlanner。 功能 ： 查询生成 ：WebSearcher根据WebPlanner分配的子问题，生成多个相关的查询。这些查询会覆盖子问题的不同方面，以确保检索到的信息全面且相关。 搜索API调用 ：WebSearcher通过调用各种搜索API（如Google、Bing、DuckDuckGo）执行查询，获取相关的网页URL、标题和摘要。 内容聚合与过滤 ：将搜索结果中的网页URL、标题和摘要聚合在一起，并利用LLM筛选出最有价值的网页进行详细阅读。 深入阅读和摘要 ：WebSearcher读取筛选出的网页内容，并生成详细的回答，将有用信息反馈给WebPlanner。 2. 动态问题解决路径 有向无环图（DAG）： 有向无环图（Directed Acyclic Graph，简称DAG）是一种特殊类型的图结构，它具有以下两个主要特征： 有向性（Directed）： 图中的每一条边都有一个方向，从一个顶点指向另一个顶点。 无环性（Acyclic）： 图中不存在从某个顶点出发经过若干条边又回到该顶点的路径，即不存在任何环路。 结构与性质 顶点（Vertices）： DAG由一组顶点组成，这些顶点可以表示任务、事件或状态。 边（Edges）： DAG中的边表示顶点之间的依赖关系或顺序。每条边都有方向，从一个顶点指向另一个顶点。 无环性： DAG的重要性质是无环性，确保了在遍历图时不会陷入无限循环。 使用场景 DAG在计算机科学和数据分析中有广泛的应用，常见的使用场景包括： 任务调度： 在任务调度中，DAG可以表示任务之间的依赖关系，确保任务按照正确的顺序执行。 版本控制： 在版本控制系统中，DAG用于表示代码的不同版本及其变更历史。 数据处理管道： 在数据处理管道中，DAG用于描述数据处理步骤的依赖关系，确保数据按正确的流程处理。 推理过程： 在推理和决策过程中，DAG可以用来建模问题的分解和解决路径。 MindSearch中的应用 将问题解决过程建模为DAG，节点代表独立的搜索任务，边表示任务之间的依赖关系。 图中的每个节点代表一个独立的搜索任务，边表示任务之间的逻辑关系。 WebPlanner通过生成Python代码来动态添加和连接节点，逐步扩展DAG。 代码生成与执行： WebPlanner通过生成Python代码来动态构建和扩展DAG。 在每一步，WebPlanner根据当前的搜索结果和生成的代码来决定下一步的搜索策略。 在MindSearch中，DAG被用于建模问题的解决路径，具体如下： 问题分解： WebPlanner将用户提出的复杂问题分解成多个子问题，并通过DAG表示这些子问题之间的依赖关系。 路径规划： DAG中的节点代表独立的搜索任务，边表示任务之间的顺序和依赖关系。通过DAG，WebPlanner能够规划和管理复杂问题的解决步骤。 动态扩展： WebPlanner通过生成和执行Python代码动态添加节点和边，逐步扩展DAG，以反映不断演进的搜索和推理过程。 示例 假设我们有一个需要解决的问题Q，WebPlanner将其分解为三个子问题A、B和C，其中A是初始问题，B依赖于A的结果，C则依赖于B的结果。DAG的表示如下： A -> B -> C 在这个例子中： 节点A、B、C代表三个独立的搜索任务。 边A -> B表示B的任务依赖于A的结果。 边B -> C表示C的任务依赖于B的结果。 通过这种结构，MindSearch能够有条不紊地分解和解决复杂问题，确保每个子任务按照正确的顺序执行，并最终汇总结果生成最终答案。 WebPlanner通过代码规划逐步解决问题的具体示例。在每一步中，WebPlanner输出一系列想法和生成的代码。代码执行后会产生搜索结果反馈给WebPlanner。最后一步，WebPlanner直接给出最终回答，不再生成代码。 3. 分层搜索策略 粗到细的选择策略： WebSearcher首先生成多个相似的查询，以扩大搜索范围，确保覆盖尽可能多的相关信息。 这些查询通过搜索引擎（如Google、Bing、DuckDuckGo）执行，返回包含网页URL、标题和摘要的初步结果。 细化与总结： WebSearcher从初步结果中选择最有价值的网页进行详细阅读。 详细阅读后，WebSearcher将重要信息总结并反馈给WebPlanner。 4. 高效上下文管理 为了确保在复杂的多步骤信息处理过程中，不丢失重要的上下文信息，MindSearch采用了有效的上下文管理策略： 上下文前缀 ：在执行每个WebSearcher时，会将其父节点和根节点的响应作为前缀添加到当前任务中。这保证了每个WebSearcher在处理其子问题时，能够参考之前的相关上下文，避免信息丢失。 集中任务 ：每个WebSearcher只需关注分配给它的子问题，避免了处理其它不相关内容的干扰，从而提高了信息处理的准确性。 任务分配与上下文保持： WebPlanner将大问题分解成多个小任务，分配给不同的WebSearcher。 每个WebSearcher只处理其分配的小任务，避免上下文信息过载。 WebPlanner保持整体上下文，通过图的结构和代码生成来整合各个小任务的结果。 5. 快速信息整合 当所有子问题的回答收集完毕后，WebPlanner将这些信息整合成最终的回答： 节点和边的动态添加 ：在信息整合过程中，WebPlanner根据搜索结果和问题的逻辑关系，动态更新DAG，添加新的节点和边，逐步逼近最终答案。 最终回答生成 ：当所有子问题的答案都已收集并整合完毕后，WebPlanner通过DAG的终节点生成最终的完整回答，并返回给用户。 并行处理： 由于WebSearcher可以并行处理多个子任务，MindSearch能够在短时间内处理大量信息。 整个过程高效且迅速，能够在3分钟内整合超过300个网页的信息，相当于人类专家3小时的工作量。 6.具体工作示例 以下是一个具体的工作示例，展示MindSearch如何处理复杂的用户查询： 用户输入 ：用户提出问题“如何在大城市中有效开展垃圾分类？” WebPlanner分解问题 ： 子问题1：垃圾分类的最佳实践是什么？ 子问题2：大城市垃圾分类面临哪些挑战？ 子问题3：有哪些成功的垃圾分类案例？ WebSearcher执行搜索 ： WebSearcher1执行子问题1的搜索，生成多个查询，调用搜索API，筛选并阅读网页，生成详细的最佳实践回答。 WebSearcher2执行子问题2的搜索，生成多个查询，调用搜索API，筛选并阅读网页，生成大城市垃圾分类挑战的回答。 WebSearcher3执行子问题3的搜索，生成多个查询，调用搜索API，筛选并阅读网页，生成成功案例的回答。 信息整合 ： WebPlanner收集WebSearcher1、2、3的回答，将其整合成一个完整的回答。 更新DAG，添加相关节点和边，最终生成综合的解决方案。 最终输出 ：返回给用户一个详细且全面的回答，包括最佳实践、面临的挑战和成功案例。 通过上述步骤，MindSearch模拟人类的思维过程，高效地完成复杂信息搜寻和整合任务。 MindSearch的性能 MindSearch在多个维度上展示了其优越的性能，特别是在信息搜索和整合任务中的深度、广度和准确性方面。 1. 实验评估 开放集问答（Open-Set QA）： 评估方法： 通过人工挑选的100个实际问题，对MindSearch、Perplexity.ai和ChatGPT-Web进行比较。 评估标准： 人类专家根据以下三个方面对回答进行评分： 深度（Depth）： 回答的详尽程度和对问题的深入探讨。 广度（Breadth）： 回答涉及的范围和不同方面的覆盖情况。 准确性（Factuality）： 回答的准确性和基于事实的程度。 结果分析： MindSearch在深度和广度上显著优于其他工具，提供了更详细和全面的回答。 尽管在准确性方面表现稍逊，但总体表现依然优越。 人类评估者更偏好MindSearch的回答，这表明其在处理复杂信息任务时具有竞争力。 在深度、广度和生成响应的准确性三个方面，对 ChatGPT-Web、Perplexity.ai（Pro）和 MindSearch 的表现进行比较。评估结果基于 100 个由人类专家精心设计的现实问题，并由 5 位专家进行评分*。 * 所有实验均在 2024 年 7 月 7 日之前完成。 2. 闭集问答（Closed-Set QA） 评估任务： 数据集： Bamboogle、Musique和HotpotQA。 模型对比： GPT-4o（闭源模型）和InternLM2.5-7b-chat（开源模型）。 结果分析： GPT-4o： 无搜索引擎（w/o Search Engine）： 基础性能较好，但在复杂任务中表现有限。 ReAct Search： 增加了搜索引擎的辅助，性能有所提升。 MindSearch： 在所有任务中表现最优，显著提升了回答的准确性和全面性。 InternLM2.5-7b-chat： 无搜索引擎（w/o Search Engine）： 基础性能较低。 ReAct Search： 性能有明显提升。 MindSearch： 在所有任务中表现最优，特别是在开源模型中展示了其增强知识和减少幻觉的能力。 3. 快速信息整合 效率： MindSearch能够在3分钟内从超过300个网页中收集和整合信息，这相当于人类专家大约3小时的工作量。 多代理设计和并行处理使得信息整合过程高效快速。 4. 用户偏好 用户反馈： 通过人类评估者的主观评价，MindSearch的回答在深度、广度和整体质量上更受欢迎。 这表明MindSearch不仅在技术上具有优越性能，而且在用户体验上也表现出色。 结论 MindSearch在信息搜索和整合任务中展示了卓越的性能，通过多代理框架和高效的上下文管理，实现了快速、准确和全面的回答。实验评估结果和用户反馈都表明，MindSearch在AI搜索引擎领域具有很强的竞争力。 项目地址： https://mindsearch.netlify.app/ GitHub： https://github.com/InternLM/MindSearch

Menu

分类目录

MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Roblox 展示了新的 3D AI 工具实现与游戏玩法直接集成的实时世界构建

The Pile: 用于语言模型的800GB多样化文本数据集

全球首款集成GPT-4o 的智能眼镜发布支持视觉能力和实时问答

StockBot：由Llama3-70B驱动的实时股票数据和新闻的聊天机器人

OpenAI 推出 GPT-4o mini 取代GPT 3.5 性能超越GPT 4 而且更快更便宜

Zerox ：一个简单易用的GPT OCR 工具可将 PDF、DOCX 等文件转换为 Markdown 格式

Google 开发出一个能够达到人类业余水平的乒乓球机器人

特斯拉正在招聘人员来进行Optimus机器人训练工作时薪48美金

Facet AI：可以精确控制图像元素的展现适合制作广告和专业图像

斯坦福大学推出一种上下文向量（ICV）新方法提高模型微调效率和可扩展性

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?