DriveVLM：自动驾驶与视觉语言模型的融合增强智能汽车场景理解和规划能力

DriveVLM 项目有由清华大学和理想汽车联合开发的一个自动驾驶辅助系统，旨在改善自动驾驶系统的场景理解和规划能力。 它利用了最新的视觉语言模型来更好地描述和分析驾驶环境，并通过分层规划模块来制定驾驶计划。此外， DriveVLM-Dual 系统结合了传统的3D感知技术，以提供更准确的空间推理和实时规划能力。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/drivevlm-the-convergence-of-autonomous-driving-and-large-vision-language-models-1080-ytshorts.savetube.me_.mp4"][/video] 主要功能 场景描述 ： 环境描述 ：生成驾驶环境的语言描述，包括天气、时间、道路类型和车道状况等。例如，描述当前是白天，道路为城市道路，右车道被阻塞等。 关键对象识别 ：识别并描述驾驶环境中对当前场景最重要的对象，如车辆、行人、障碍物等，并提供它们的类别和位置。 场景分析 ： 静态属性分析 ：分析关键对象的静态特征，如车辆类型、标志牌内容等。 运动状态分析 ：分析关键对象的动态特征，如位置、方向和速度，预测其未来的运动轨迹。 特定行为分析 ：识别关键对象的特殊行为或动作，如行人过马路、车辆变道等，并评估其对自车的潜在影响。 分层规划 ： 元动作规划 ：制定短期驾驶决策，如加速、减速、转向等。元动作是驾驶策略的基础，用于指导车辆的基本行为。 决策描述 ：生成详细的驾驶策略，包括具体的行动、与哪些对象交互以及行动的持续时间等。例如，“减速并稍微向右变道以避开前方障碍物，然后继续直行”。 路径点规划 ：根据决策描述生成未来行驶的路径点，描绘车辆的预定行驶轨迹。这些路径点用于指导车辆在未来一段时间内的行驶方向和速度。 DriveVLM-Dual 系统整合 ： DriveVLM-Dual 系统在传统3D感知和规划模块的基础上，集成了 DriveVLM 的视觉语言模型（VLMs）能力，增强了系统对复杂场景的理解和分析能力。 3D 感知集成 ：结合传统的 3D 感知技术，提供精确的空间信息。DriveVLM-Dual 系统利用这些信息进行更准确的空间定位和对象识别。提高了系统在复杂环境中的导航和决策能力。 高频路径优化 ：利用 DriveVLM 生成的低频路径作为参考，通过传统的高频规划模块进行优化，确保路径规划的实时性和准确性。 多模式协同工作 ： 系统分为慢速和快速两个分支，慢速分支利用 DriveVLM 进行深度场景理解，快速分支利用传统规划模块进行高频路径调整，两者协同工作，提高系统应对复杂场景的能力。 DriveVLM 系统架构 DriveVLM系统利用视觉语言模型（Vision-Language Models, VLMs）进行场景描述、场景分析和分层规划。整个架构如图1所示，分为三个主要模块：场景描述、场景分析和分层规划。同时，为了增强空间推理能力和实时规划性能，提出了DriveVLM-Dual，结合了传统自动驾驶管道的优势。 1. 场景描述模块 环境描述 ： 通过语言描述驾驶环境，包括天气、时间、道路类型和车道状况。 天气（Eweather）：如晴天、雨天等，影响能见度和摩擦力。 时间（Etime）：如白天、夜间，影响驾驶策略。 道路类型（Eroad）：如城市道路或高速公路，带来不同的驾驶挑战。 车道状况（Elane）：如当前车道的位置和可能的操作，关键在于安全驾驶决策。 关键物体识别 ： 仅关注当前场景中可能影响驾驶决策的关键物体。 每个关键物体（Oc）包含物体类别（c）和其在图像中的大致边界框坐标（b(x1, y1, x2, y2)）。 通过预训练的视觉编码器，DriveVLM可以识别长尾关键物体，如道路碎片或不常见的动物。 2. 场景分析模块 关键物体分析 ： 描述关键物体的静态属性、运动状态和特定行为。 静态属性（Cs）：描述物体的固有特性，如路边广告牌的视觉提示或卡车的超大货物。 运动状态（Cm）：描述物体在一定时间内的动态，如位置、方向和动作。 特定行为（Cb）：指物体的特殊动作或姿态，直接影响车辆的驾驶决策。 场景总结 ： 综合关键物体和环境描述的场景分析，总结当前场景，为后续的规划模块提供全面的理解。 3. 分层规划模块 元动作（Meta-actions） ： 短期驾驶策略的表示，包括17类动作，如加速、减速、转向、变道、小范围位置调整和等待。 生成一系列元动作，表示未来一段时间内的驾驶策略。 决策描述（Decision Description） ： 更细粒度的驾驶策略，包括动作、主体和持续时间三个元素。 动作（Action）：如‘转弯’、‘等待’或‘加速’。 主体（Subject）：如行人、交通信号或特定车道。 持续时间（Duration）：指动作的时间维度，指定动作的持续时间或开始时间。 轨迹路径点（Trajectory Waypoints） ： 根据决策描述生成相应的轨迹路径点，表示未来一段时间内的车辆行驶路径。 4. DriveVLM-Dual 为了克服VLMs在高延迟和空间运动理解上的挑战，DriveVLM-Dual结合了DriveVLM和传统自动驾驶系统的优势，包括3D感知和高频轨迹优化。 集成3D感知 ： 利用3D检测器的结果增强关键物体分析，提高关键物体的位置和运动理解的准确性。 高频轨迹优化 ： 结合传统规划器，形成慢速和快速双重系统，利用DriveVLM生成的低频轨迹作为参考，进行高频轨迹优化，确保轨迹的高质量和实时性。 通过这些模块的协同工作，DriveVLM和DriveVLM-Dual实现了对复杂驾驶场景的全面理解和有效规划，显著提升了自动驾驶系统的性能。 实验与验证结果总结 DriveVLM 和 DriveVLM-Dual 系统在多个数据集上的实验和验证结果展示了其优异的性能和创新的设计。 DriveVLM 和 DriveVLM-Dual 系统在实验中展示了其在复杂和动态驾驶场景中的优越性能，特别是在场景理解和实时路径规划方面。DriveVLM-Dual 系统结合了先进的视觉语言模型和传统的 3D 感知技术，实现了更高效和准确的自动驾驶解决方案。 以下是实验和验证结果的总结： 1. 数据集 SUP-AD 数据集 ：自建数据集，包含复杂驾驶场景的标注与分析。 nuScenes 数据集 ：大型城市驾驶数据集，包含 1000 个场景，每个场景约 20 秒。 标注员来场景标注，包括场景描述、场景分析和规划，但航点除外，因为航点可以通过车辆的 IMU 记录自动标注。

2. 实验设置 SUP-AD 数据集分为训练集、验证集和测试集，比例为 7.5:1:1.5。 在 SUP-AD 数据集上，使用场景描述和元动作评价指标进行评估。 在 nuScenes 数据集上，采用位移误差（Displacement Error, DE）和碰撞率（Collision Rate, CR）作为评估指标。 3. 主要实验结果 SUP-AD 数据集 方法 场景描述得分 元动作得分 Lynx 微调 0.46 0.15 CogVLM 微调 0.49 0.22 GPT-4V 0.38 0.19 DriveVLM（使用 Qwen-VL） 0.71 0.37 DriveVLM 使用 Qwen-VL 作为基础模型，在场景描述和元动作任务中表现出色，优于其他对比模型。 场景描述评分：0.71 元动作评分：0.37 对比方法（如 Lynx 和 CogVLM）均未达到相同水平。 nuScenes 数据集 方法 L2 (m) ↓ 碰撞率 (%) ↓ NMP - 1.92 SA-NMP - 1.59 FF 1.43 0.43 EO 1.60 0.33 ST-P3 2.11 0.71 UniAD 1.03 0.31 VAD-Base 0.37 0.14 DriveVLM 0.40 0.27 DriveVLM-Dual (合作 VAD) 0.31 0.10 DriveVLM-Dual 系统在与 VAD 合作时，在 nuScenes 数据集的规划任务中表现出最佳性能，优于现有的端到端运动规划方法。 DriveVLM-Dual 达到了最先进的性能，在 DE 和 CR 方面表现优异。 1秒 DE：0.15 米 2秒 DE：0.29 米 3秒 DE：0.48 米 平均 DE：0.31 米 1秒 CR：0.05% 2秒 CR：0.08% 3秒 CR：0.17% 平均 CR：0.10% 4. 系统优势 增强的空间推理能力 ：结合 3D 感知数据和高频轨迹优化，提供更精确的场景理解和轨迹规划。 实时性能 ：低频和高频轨迹结合，实现高质量的实时驾驶决策。 灵活性和适应性 ：系统设计类似于人脑的慢速和快速思维过程，能够高效适应不同复杂性的驾驶场景。 项目地址： https://tsinghua-mars-lab.github.io/DriveVLM/ 论文： https://tsinghua-mars-lab.github.io/DriveVLM/DriveVLM.pdf

Menu

分类目录

DriveVLM：自动驾驶与视觉语言模型的融合增强智能汽车场景理解和规划能力

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Bolt․new：AI 帮你自动写代码自动运行并自动部署而且全部在浏览器中完成

One-Click Creative Template：创意模型用一张卡通图片总结4张真实人物照片

Google发布 2024年值得关注的Chrome扩展程序

Open NotebookLM ：将 PDF 文件转化为播客的开源工具支持中文可定制语气

O-one ：通过语音操控你的电脑一个开源语言模型计算机

NVIDIA 发布 Nemotron-4 340B 开源模型主要用于生成高质量的合成数据

Paper Piano 纸钢琴：通过摄像头将任何一张纸变成一架钢琴

Canva推出了一系列新功能和工具 16 项重要更新介绍

Chinese Tiny LLM：从头开始训练专注于中文的大语言模型

FILM-7B：解决大语言模型在长上下文信息的中间丢失问题

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

DriveVLM：自动驾驶与视觉语言模型的融合 增强智能汽车场景理解和规划能力

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

DriveVLM：自动驾驶与视觉语言模型的融合增强智能汽车场景理解和规划能力