Meta 发布端到端生成高质量的 3D 资产生成模型不到一分钟生成高质量3D模型

Meta 3D-Gen (3DGen) 是Meta开发的一种最新的文本到3D资产生成技术，可以端到端生成高质量的 3D 资产。生成的结果优于现有解决方案，速度是该领域现有工作的 3-10 倍。 它能够在不到一分钟的时间内通过文本描述快速生成高质量的3D形状和纹理，并支持物理基础渲染（PBR），适用于真实世界应用中的3D资产重光照。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_1808154061986045952720p.mp4"][/video] 主要功能 快速生成高质量3D形状和纹理 ： 通过解析文本描述，能够在不到一分钟的时间内，从文本描述快速生成高质量的3D形状和纹理。 物理基础渲染（PBR）支持 ： 生成的3D模型支持物理基础渲染，使其在不同光照条件下都能表现出真实的材质效果，适用于各种现实世界应用。 生成性重纹理 ： 用户可以使用新的文本输入，对已经生成的或艺术家创作的3D形状进行重新上色和纹理生成，从而提高模型的视觉效果。 高提示一致性 ： 生成的3D模型与输入的文本描述高度一致，确保用户的创作意图得到精确表达。 多空间表示 ： 3DGen将3D对象同时表示在视图空间、体积空间和UV（或纹理）空间中，这种整合方式确保了生成结果的高质量和细节表现。 Meta 3D-Gen 的技术方法 1. 整体架构 Meta 3D-Gen 由两个主要技术组件组成：Meta 3D AssetGen 和 Meta 3D TextureGen。这两个组件协同工作，分别负责文本到3D生成和纹理生成及细化。 2. Meta 3D AssetGen [video width="720" height="720" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_1808158184416464896720p.mp4"][/video] 文本到3D生成 ：利用文本描述生成初步的3D网格和基础纹理。这个过程包括以下几个步骤： 多视角生成 ：通过多视角和多通道版本的文本到图像生成器生成对象的多个视角图像。 体积重建 ：利用重建网络从这些视角图像中提取3D形状，并生成初步的3D网格和基础纹理。 PBR支持 ：生成的3D网格包含物理基础渲染（PBR）材料地图，支持真实感光照。 优势 ：通过使用符号距离函数（SDF）来更可靠地表示3D形状，并引入对应的损失函数进行直接形状监督。 3. Meta 3D TextureGen [video width="720" height="720" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_1808158184420642816720p.mp4"][/video] 文本到纹理生成 ：为给定的3D形状生成高质量的纹理。这个过程包括以下几个步骤： 多视角生成 ：从文本描述和3D对象生成多个视角图像。 纹理重投影 ：将这些视角图像重新投影到相应的纹理图像上。 UV空间生成 ：生成最终的UV纹理图，结合视图空间和UV空间的生成，提升纹理的质量和分辨率。 纹理增强 ：通过纹理增强网络，可以将任何纹理放大到更高的分辨率（如4k像素）。 4. 整合方法 阶段I：3D资产生成 ：通过Meta 3D AssetGen生成初步的3D网格和基础纹理，耗时约30秒。 阶段II：纹理细化 ：通过Meta 3D TextureGen对生成的3D资产进行纹理细化，提升视觉质量和一致性，耗时约20秒。 多重空间表示 ：3DGen通过结合视图空间、体积空间和UV空间，确保生成的3D对象具有高质量和细节表现。 流程优化 ：整合了两个阶段的生成过程，使用相同的文本描述对两个阶段进行条件约束，从而提高生成结果的一致性和质量。 Meta 3D-Gen 性能评估结果 Meta 3D-Gen 在多项性能指标上表现出色，相较于其他行业基线具有显著优势。以下是其具体的性能评估结果： 1. 生成速度 阶段I（初步3D生成） ：约30秒 阶段II（纹理细化） ：约20秒 整体生成时间 ：不到1分钟 与行业标准相比，Meta 3D-Gen 的生成速度显著更快，某些竞争对手的生成时间从几分钟到一小时不等。 2. 用户研究与评估 进行了广泛的用户研究，包括通用用户和专业3D艺术家。 评估基准 ：使用了一套经过去重的404个文本提示，这些提示最初由DreamFusion引入。 文本一致性 ：3DGen在所有提示类别中都显示出较高的一致性，超过了所有考虑的行业基线。 视觉质量 ：在视觉质量、几何形状和纹理细节方面，3DGen的表现优于大多数竞争对手。 用户偏好 ：68%的案例中，用户更喜欢阶段II生成的纹理质量。 3. 行业基线对比 CSM Cube 2.0 ：生成时间最长，约1小时。缺乏PBR材料支持。 Tripo3D ：生成时间约3分钟，缺乏PBR材料支持。 Rodin Gen-1 ：生成时间约3分钟，生成失败率7%。 Meshy v3 ：生成时间约10分钟，存在纹理和几何问题。 第三方T23D生成器 ：生成时间约10分钟，有时存在纹理接缝问题。 4. 定性结果 图形质量 ：Meta 3D-Gen 在生成高频细节纹理方面表现尤为出色，且视觉美感更强。 复杂场景 ：在处理复杂组合和场景时，Meta 3D-Gen 的生成质量明显优于其他方法。 纹理一致性 ：Meta 3D-Gen 在多个视角下生成的纹理一致性更高，较少出现视觉伪影和几何错误。 5. 用户研究结果 通用用户 ：更喜欢细节更丰富、颜色更鲜艳的纹理，不太在意纹理和几何伪影。 专业3D艺术家 ：更关注几何形状和纹理的正确性，强烈偏好Meta 3D-Gen生成的结果。 6. 统计数据 提示一致性 ：3DGen的整体一致性评分为81.7%，高于其他行业基线。 视觉质量 ：3DGen在视觉质量评估中得分最高，达到84.1%。 几何质量 ：3DGen的几何质量评分为73.9%，在复杂提示下表现尤为突出。 一些效果展示： 详细介绍及论文： https://ai.meta.com/research/publications/meta-3d-gen/

Menu

分类目录

Meta 发布端到端生成高质量的 3D 资产生成模型不到一分钟生成高质量3D模型

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Prompt 学习地图 09 |概念科普，什么是“温度值“？

全面了解和掌握 Midjourney 中的各种摄影灯光照明技巧→ 艺术光照

斯坦福医学院人工智能模型SyntheMol 帮助科学家能合成新的药物

MathGPTPro：数学问题 AI 解决工具提供实时互动学习体验

SST：对情感的高维度理解和映射让机器更真实地模拟人类情感

基于 ChatTTS 2600个音色库稳定性评分并按性别和年龄分类可试听

英伟达推出视觉语言模型：VILA 具备情景学习能力可在多个图像之间推理、理解视频

特斯拉We Robot 发布会全纪录：完全无人驾驶出租车、Optimus 机器人、Robovan（机器人巴士）

将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法

Magi: 自动将漫画转录成文字并自动生成剧本

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Meta 发布端到端生成高质量的 3D 资产生成模型 不到一分钟生成高质量3D模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Meta 发布端到端生成高质量的 3D 资产生成模型不到一分钟生成高质量3D模型