Magentic-One：微软发布用于解决复杂任务通用多智能体可自行编写和执行代码并进行人机交互

微软研究团队推出了 Magentic-One ，一个通用的多智能体系统，具备在不同领域中处理开放性任务的能力。该系统基于多智能体架构，由核心协调者（Orchestrator）引导多个专职智能体，如WebSurfer、FileSurfer、Coder 和 ComputerTerminal，以协作完成复杂任务。 Magentic-One 可以自行浏览网页、本地文件、编写和执行代码并支持人机交互。 系统架构 Magentic-One基于多智能体架构，由一个主代理（称为Orchestrator）负责任务的总体规划和管理，并通过四个专门的智能体（WebSurfer、FileSurfer、Coder和ComputerTerminal）来执行具体任务： Orchestrator（协调器） ：是系统的核心协调者，负责任务的分解和进度管理。它将复杂任务分解成子任务，并分配给合适的智能体执行，确保任务有序完成。它会制定任务的总体计划、追踪进展、分配任务，并在任务遇到困难时重新规划。Orchestrator像一个指挥者一样，负责管理其他智能体，让它们协作完成任务。 WebSurfer（网页智能体） ：专注于网页浏览的智能体，可以自动打开网址、执行网页搜索、点击链接、填写表单等。这个代理是浏览和操作网页的“专家”。 FileSurfer（文件智能体） ：负责浏览和读取本地文件的智能体。FileSurfer可以导航文件夹、读取不同类型的文件内容，帮助完成与文件相关的任务。 Coder（编程智能体） ：一个专门用于编写和运行代码的智能体。它能够分析信息、处理编程任务，并将其他智能体的数据转化为程序代码。 ComputerTerminal（终端智能体） ：通过命令行接口执行编程代码，安装所需的程序库，确保整个系统可以运行特定的软件或工具。 这些智能体各司其职，但通过Orchestrator的管理实现协同合作。例如，当系统需要查找某个网页上的信息时，Orchestrator会先指示WebSurfer打开网页并提取信息，再交由Coder进行数据处理，最终由FileSurfer将结果保存到本地文件。 模块化和高扩展性 ： Magentic-One 采用了模块化设计，可以灵活地添加或替换智能体模块，以适应特定任务的需求。 支持不同模型和工具的无缝集成，使其能够适应多种使用场景，并在多任务中保持高效。 就像搭积木，可以根据不同需求添加、替换或删除特定的小助手，适应不同类型的任务。这种模块化设计使系统具备了极强的适应性。 动态适应能力 ： 该系统的 Orchestrator 能够在任务进行中根据进展动态调整计划和重新分配任务，从而在发生错误时快速恢复并适应任务变化。 在执行过程中，如果某个步骤出错，Orchestrator 能够自动调整计划并重新分配任务，确保任务继续进行。这种自适应特性提高了系统的稳定性和可靠性。 跨领域任务解决能力 ： Magentic-One 的小助手们可以同时处理网络、文件系统和代码等多种任务，让它适用于从网页浏览到本地文件操作、自动化代码执行等不同场景。 可以在多个领域内执行任务，例如软件开发、数据分析和科学研究等。它能快速处理复杂数据，进行自动化的任务执行，提高工作效率。 Magentic-One 的工作原理 Magentic-One 的核心工作原理可以分为两部分： 任务分解与管理 和 智能体协作 。通过这两部分的有机结合，Magentic-One 实现了复杂任务的自动化执行。 Orchestrator通过外循环管理任务的总体计划和信息收集，确保对任务的整体把控；内循环则细化到每一个子任务的进度跟踪，每完成一个步骤后更新任务进度。 这种流程设计的关键优势在于： 动态调整 ：如果某个步骤卡住，Orchestrator会重新规划路径，直到找到有效解决方案。 子任务分配 ：Orchestrator可以将任务拆解成多个小步骤，每个小步骤分配给最合适的智能体完成。 进度跟踪 ：任务的每一步进展都会记录下来，确保任务不会遗漏或重复执行。 1. 任务分解与管理 主代理 Orchestrator 是 Magentic-One 系统的核心，负责高层次的任务规划和分解。其工作流程分为两个循环： 外循环 和 内循环 。 外循环 ：Orchestrator 会创建一个包含任务计划和必要信息的“任务总表”（Task Ledger）。在外循环中，Orchestrator 从总体上制定任务计划，将每一个任务分解为小的子任务，并记录任务进展和当前的已知信息（包括推测和假设）。 内循环 ：内循环主要负责“进展追踪表”（Progress Ledger）的更新，这个表用来记录每个子任务的执行进度。当子任务完成后，Orchestrator 会检查任务是否结束；如果任务还未完成，它会更新进展追踪表并继续分配新子任务。Orchestrator 的任务分配过程具有 动态调整 的特性。当系统检测到某一子任务卡住或进展缓慢时，Orchestrator 会更新“任务总表”并重新规划，确保任务可以继续推进直至完成。 2. 智能体协作 Magentic-One 系统包含多个专职的智能体（agent），它们通过 Orchestrator 的指挥协作完成任务。每个智能体负责不同的任务领域，具体分工如下： WebSurfer（网页智能体） ：负责浏览网页和网页操作，如打开链接、点击、输入信息等。WebSurfer 能够模拟浏览器的基本操作，还能读取网页信息，为其他智能体提供所需的数据。 FileSurfer（文件智能体） ：专注于文件系统操作，能够浏览、读取本地文件并执行简单的文件管理任务。FileSurfer 提供目录导航、文件内容读取等功能，是系统进行文件操作时的重要辅助。 Coder（编程智能体） ：负责代码编写、调试和分析。Coder 可以根据其他智能体收集的信息生成代码，或对数据进行进一步处理。Coder 也可以生成新的程序或分析其他智能体生成的内容。 ComputerTerminal（终端智能体） ：提供命令行接口，允许智能体执行代码、安装程序库，确保系统可以在独立的终端环境中运行特定指令。 在任务执行时，Orchestrator 会根据任务需求调用不同的智能体。例如，当系统需要完成网页数据抓取任务时，Orchestrator 会指示 WebSurfer 浏览网页并收集数据，将数据交给 Coder 进一步处理，处理结果可由 FileSurfer 保存至本地文件。 3. 动态反馈与调整 在任务执行过程中，Magentic-One 依赖 Orchestrator 的任务追踪和反馈机制来确保任务顺利进行。Orchestrator 会在每个子任务完成后检查任务进展，如果遇到障碍则重新规划。这种动态反馈机制让系统能够灵活应对任务中的变化，比如网页内容变化或文件路径更改。 Magentic-One 的系统性能与实际测试 Magentic-One 系统在多个基准测试中展示了其强大的性能，尤其是在复杂、多步骤任务的处理上表现优异。为了验证其通用任务解决能力，微软团队对该系统进行了多方面的测试评估，主要通过以下几个基准进行考核： GAIA 、 AssistantBench 和 WebArena 。 测试方法与工具 为确保测试的全面性和一致性，微软团队开发了一个名为 AutoGenBench 的开源评估工具。该工具专为多智能体系统设计，可以对任务进行重复测试、分离变量影响，甚至控制某些随机因素的影响，以保证测试结果的可靠性。 通过 AutoGenBench，研究团队能够更精确地衡量 Magentic-One 在实际任务中的表现，确保测试结果不会因偶然因素受到影响。此外，AutoGenBench 还允许添加新的基准测试，确保评估工具可以随技术进步不断更新。 基准测试详情 GAIA ：GAIA 测试涉及复杂的多步骤任务，要求系统具备计划、执行和调整能力。GAIA 的测试任务包含任务拆解、工具使用和网页操作等多种挑战。Magentic-One 在 GAIA 中的表现几乎与当前最优的多智能体系统持平，展示了其出色的规划和执行能力。 AssistantBench ：AssistantBench 主要测试系统在辅助性任务（如信息整理和数据提取）方面的表现。Magentic-One 在该基准中表现优异，尤其在数据处理和多步骤任务协作方面，其性能在测试中与顶尖的其他系统接近甚至更优。 WebArena ：WebArena 主要涉及网页浏览和交互，要求系统能够在动态网页环境中完成多步骤任务。这类任务通常需要智能体在网页上执行一系列操作，如登录、导航、填写表单等。Magentic-One 在 WebArena 的自评测试中展示了较高的成功率，其网页操作智能体（WebSurfer）表现尤为突出。需要注意的是，WebArena 的结果是自我评估的，因此该成绩与其他基准测试的公开排行榜有所不同。 系统性能与对比结果 测试结果表明，Magentic-One 的性能达到了与最先进的智能体系统相当的水平，尤其在多步骤任务执行上表现出色。在 GAIA 和 AssistantBench 基准中，Magentic-One 的成功率和准确性达到了与最优系统近乎持平的状态，而在 WebArena 上表现也非常出色。 研究人员通过数据对比发现，Magentic-One 在以下几个方面具有明显优势： 高效的任务分解与计划 ：Orchestrator 的任务管理能力强大，使得系统能够自动分解任务，并合理分配到各个智能体。 模块化的智能体协作 ：多智能体设计让系统可以在复杂任务中灵活调用不同智能体，使得不同类型的任务都可以高效完成。 动态调整与容错 ：Orchestrator 能够在任务中动态调整策略和子任务分配，当遇到问题时能重新规划，从而提高任务的整体成功率。 案例展示 [video width="1440" height="1080" mp4="https://img.xiaohu.ai/2024/11/citations_m1.mp4"][/video] 任务：查找并导出论文中缺失的引用文献 [video width="1440" height="1080" mp4="https://img.xiaohu.ai/2024/11/finance_m1.mp4"][/video] 任务：描述标普500指数的趋势 [video width="1440" height="1080" mp4="https://img.xiaohu.ai/2024/11/food_m1.mp4"][/video] 任务：点一份三明治 [video width="1440" height="1080" mp4="https://img.xiaohu.ai/2024/11/hax_m1.mp4"][/video] 任务：统计 MSR HAX 的成员数量 Magentic-One 的安全性与挑战 Magentic-One 作为一个多智能体系统，具备高效的任务自动化能力，但也面临着一些独特的安全性挑战。这些挑战源于其能够独立执行复杂任务的能力，同时也反映了其在实际应用中可能遇到的风险和不确定性。微软团队在开发过程中专门针对这些潜在问题设计了多层次的安全保障，并提出了相应的风险控制策略。 1. 安全性挑战 在系统测试和开发过程中，Magentic-One 主要面临以下几个安全性挑战： 误操作风险 ：Magentic-One 的自主性较高，能够在任务中执行多步骤操作，例如登录、提交表单、发送信息等。在测试时曾出现因错误配置导致的登录失败，智能体自动重试过多次导致账号被锁定的情况。更为复杂的情况是，智能体尝试重置密码或请求他人协助。这种行为若不受控，可能导致意外后果。 不可逆操作的风险 ：Magentic-One 能够执行系统级操作，如删除文件、发送电子邮件等。这些操作可能无法撤销，尤其是在敏感任务中执行不可逆操作会带来高风险。系统需要对类似操作进行更严格的控制，并在高风险操作前确认任务的可逆性。 潜在的社会工程攻击 ：Magentic-One 可用于互联网环境的任务执行，在处理网页数据时可能受到网络上的钓鱼、社会工程攻击等恶意行为影响。智能体在自动化操作中可能误接触恶意网站，进而影响任务执行甚至安全性。 用户恶意使用的风险 ：由于 Magentic-One 开源并可扩展，可能被恶意使用。例如，恶意用户可能通过其代理实现大规模数据抓取、网络滥用甚至尝试突破安全防护。因此，开发团队需要通过代码使用许可和使用限制进行预防。 2. 安全性策略与控制措施 为了应对上述安全挑战，Magentic-One 设计了一系列安全措施来确保系统的安全性和可靠性。 最低权限原则 ：Magentic-One 在任务执行中只被赋予完成特定任务所需的最低权限。例如，限制其访问文件系统和网络操作的范围，避免过高的权限带来风险。这种原则确保智能体只能在受控范围内操作。 人类监督与多层次审批 ：对于高风险任务，系统设置了多层次的审批流程，建议在执行关键任务或不可逆操作（如文件删除或外部信息发送）前通过人类监控确认。在系统的推荐用法中，所有敏感操作都需由人工介入或监控，确保任务在可控状态下执行。 安全沙箱与隔离运行 ：Magentic-One 通过 Docker 容器或沙箱环境运行，以隔离潜在风险，防止操作失误影响到外部真实系统。这种隔离手段还允许开发人员在测试和实际应用之间切换环境，确保敏感任务在隔离环境中安全执行。 风险预警与日志监控 ：系统内置了实时日志监控和风险预警机制，可对操作行为进行追踪和记录。一旦发现异常操作，系统会及时提醒并记录操作日志，便于事后分析。这种监控机制让开发者能够对系统的行为进行全面追踪和审查。 内容过滤与生成后检测 ：Magentic-One 的所有智能体在生成内容或执行任务前后，都会进行过滤和检测，以规避潜在的违规内容或不安全操作。微软团队建议在所有涉及代码生成、文件操作的任务中应用此过滤步骤，避免智能体误操作。 3. 面临的实际挑战 即便有多层次的安全保障，Magentic-One 在实际应用中仍面临一些挑战： 适应不同任务需求的安全性平衡 ：Magentic-One 的通用性使得其能用于不同任务场景，但不同任务对安全性的要求有所不同。在某些高敏感领域，需要在保证安全的前提下灵活配置权限和平衡自动化程度。 新兴风险防范 ：随着智能体应用的扩展，可能出现未曾预料的风险，例如新型的网络攻击或社会工程手段。微软团队建议在未来开发中引入更复杂的安全检测技术，例如检测操作的可逆性、用户身份认证等，确保系统能有效应对新风险。 用户误用与监管难题 ：作为开源项目，Magentic-One 面临着恶意用户滥用的可能性。微软建议在系统许可中增加使用限制，提醒用户不得在恶意活动中使用该系统。 MicrosoftBlog： https://www.microsoft.com/en-us/research/articles/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks/ 技术报告： https://www.microsoft.com/en-us/research/publication/magentic-one-a-generalist-multi-agent-system-for-solving-complex-tasks/ GitHub： https://github.com/microsoft/autogen/tree/main/python/packages/autogen-magentic-one

Menu

分类目录

Magentic-One：微软发布用于解决复杂任务通用多智能体可自行编写和执行代码并进行人机交互

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Agent Hospital ：一个完全模拟整个医院环境和流程的AI医院

ChatTTS-Forge ：一个提供易于使用WebUI和接入各种TTS API服务的开源项目

X-Portrait 2：由字节跳动开发可将任意视频角色的表情和动作转移到任意对象的技术

只需要4个摄像头视角和3D骨骼姿势实现全息角色传送

Pipedream：快速连接和集成超过2000多个应用程序

MIMO：给定一个参考图像、视频几分钟即可生成一个可以控制动作和场景的动画人物

Prompt 学习地图 12 | 编写策略 – 给 ChatGPT 时间“思考”

Google Veo详细介绍：可与 Sora 竞争的高清 AI 视频生成器

Anime gf ：你的动漫女友一个本地且开源的 CharacterAI 替代工具

PixelPlayer：自动从视频中识别和分离声音源，并与画面匹配

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Magentic-One：微软发布用于解决复杂任务通用多智能体 可自行编写和执行代码并进行人机交互

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Magentic-One：微软发布用于解决复杂任务通用多智能体可自行编写和执行代码并进行人机交互