Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力

Google DeepMind 的机器人团队展示了将Google Gemini 1.5 Pro安装到机器人里面，通过Gemini 1.5 Pro 的长上下文窗口提升机器人的导航能力。 实验表明，机器人能够使用人类指令、视频导览和常识推理，成功记住和找到特定位置。 研究团队通过“ 多模态指令导航与长上下文VLMs和拓扑图 ”的方法，使机器人能够执行不同任务。这些机器人在先前的项目中已熟悉了办公室环境，并通过“多模态指令导航演示”熟悉了空间。随后，团队利用分层视觉-语言-动作（VLA）技术，将环境理解和常识推理结合，使机器人能够响应书面、绘图命令以及手势指令。 在展示视频中，员工使用“OK, Robot”启动指令，机器人成功地执行了多项任务，如带领员工前往绘画板和按照白板上的指令导航到特定区域。机器人在超过50次与员工的互动中，成功率达到了约90%。 Gemini 1.5 Pro 的长上下文窗口提高了机器人记住和导航环境的能力。 实验显示机器人能使用人类指令、视频导览和常识推理找到空间中的位置。 机器人能够记住特定区域的关键位置并导航到这些位置。 系统架构通过视频帧创建拓扑图，帮助机器人在没有地图的情况下找到路径。 提供多模态指令（如地图草图、音频请求和视觉线索）能提高机器人的任务执行能力。 机器人在9000多平方英尺的区域内执行57种任务，成功率达到了约90%。 [video width="800" height="800" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_GSNfrMYbAAA55GOgif.mp4"][/video] 案例1：一位 Google 员工要求机器人带他去一个可以画画的地方。“好的，”机器人戴着俏皮的黄色蝴蝶结回答道，“给我一分钟。我在用 Gemini 思考……”然后机器人带着这位员工走到了一块墙大的白板前。 [video width="1080" height="1080" mp4="https://img.xiaohu.ai/2024/07/7月12日.mp4"][/video] 案例2：先带着机器人在现实世界的特定区域进行了一次参观，重点介绍了需要记忆的关键地点，比如“刘易斯的办公桌”或“临时办公区域”。然后，机器人被要求带领刚才已经去过的这些地点。 [video width="1080" height="1080" mp4="https://img.xiaohu.ai/2024/07/7月12日-1.mp4"][/video] 一张简单的地图显示了如何到达“蓝色区域”。机器人再次思考片刻，然后长途跋涉到达了一个机器人测试区。“我已经成功地按照白板上的指示行事了，”机器人自信地宣布，这种自信是大多数人类只能梦想拥有的。 在这些视频之前，机器人通过团队称之为“带有演示巡回的多模态指令导航（MINT）”的方式熟悉了环境。实际上，这意味着带机器人在办公室周围走动，同时用语音指出不同的地标。接下来，团队利用分层视觉-语言-行动 (VLA) 来“结合环境理解和常识推理能力”。一旦这些过程结合起来，机器人可以响应书写和绘制的命令，以及手势。 多模态指令导航与长上下文VLMs和拓扑图 在研究如何让机器人更智能地导航时，一个重要的目标是让它们能理解人类的多种指令，比如语言和图片指示，然后执行相应的任务。Google DeepMind的团队开发了一个叫做Mobility VLA的项目，试图通过结合先进的视觉语言模型（VLMs）和拓扑图技术，实现这个目标。 主要内容 ： 多模态指令导航（MINT）任务 ： 什么是MINT ：这是指让机器人通过理解多种指令（如语言和图片），在一个环境中导航并完成任务。例如，机器人可以听懂你说“带我去会议室”，或者看懂你在地图上标记的路径，并准确到达目的地。 方法介绍 ： 视觉语言模型（VLMs） ：这是一种先进的人工智能技术，能够理解图像和语言信息。通过这种技术，机器人可以“看懂”和“听懂”环境中的信息，并进行合理的判断。 拓扑图 ：这是一种表示环境中各个地点及其连接关系的方法。就像是一个详细的地图，帮助机器人进行有效的路径规划。 实验验证 ： 模拟环境实验 ：在模拟环境中，研究团队测试了机器人的导航能力。结果显示，使用VLMs和拓扑图结合的方法，机器人能够成功完成任务，并且路径规划更加高效。 真实环境实验 ：在实际的办公环境中，机器人根据口头指令和书面指令进行导航。实验结果表明，机器人能够准确理解指令并顺利到达目的地，成功率超过90%。 研究成果 ： 理解和执行复杂任务 ：机器人能够通过多种指令（语言和图片）执行复杂的导航任务。 高效导航 ：利用拓扑图，机器人可以更高效地规划路径，减少行走时间。 通用性强 ：在不同环境中，机器人都表现出色，证明了该方法的普适性和可靠性。 未来方向 ： 提高理解能力 ：继续优化机器人在复杂环境中理解和执行指令的能力。 扩展应用领域 ：将这项技术应用到无人驾驶、智能家居等更多领域，提高自动化水平。 推广到其他任务 ：将这套方法推广到其他人工智能任务中，如任务规划和语义理解，进一步提升智能系统的性能。 论文： https://arxiv.org/pdf/2407.07775v1

Menu

分类目录

Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

GameGen-O：可以生成开放世界游戏的模型自动生成角色、场景、动作和事件

Applicant AI：人工智能面试系统通过AI视频聊天快速筛选求职简历

Anthropic 推出的 Message Batches API 可以批量处理大量请求价格便宜50%

DeepFaceLive：可以在直播过程和视频通话时进行实时换脸的工具

WWDC 2024 发布会Apple Intelligence中文介绍完整视频

微软CEO Satya Nadella ：计算能力现在每 6 个月翻一番微软正在使用 AI 构建 AI

DataGemma：利用真实世界数据解决人工智能幻觉

π0：通用机器人策略模型让机器人具备在人类环境中自主执行多种复杂任务的能力

Claude 3全系支持函数调用工具Tool use 可与外部系统进行交互

PuLID：通过一张参考照片使用文本描述快速更改图像中人物的外貌和身份特征

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Google DeepMind 将Gemini 1.5 Pro安装到机器人上 实现机器人的记忆导航能力

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力