Unique 3D：不到30秒从任意RGB图像中生成高保真3D模型

Unique3D 是一个创新的图像到3D框架，可以从任意对象的单一正交RGB图像中生成高保真3D纹理网格，生成过程耗时不到30秒。 由清华大学和AIUNI AI的研究人员开发，该方法能够快速生成包含细腻纹理和复杂几何细节的3D网格，解决了以往方法生成时间长且一致性差的问题。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/07/teaser-8.mp4"][/video] 解决了哪些问题 生成保真度不足 ：传统方法生成的3D模型在几何细节和纹理方面存在缺陷，难以与原始图像匹配。Unique3D 通过多视角扩散模型和多级放大过程，显著提高了生成的3D网格的几何和纹理细节，使其高保真地再现原始图像中的细节。 一致性问题 ：传统方法生成的多视图图像之间往往存在不一致性，导致重建的3D模型在不同视角下出现不连续或失真。Unique3D 引入了法线扩散模型和ISOMER网格重建算法，确保生成的多视角图像和法线图具有很高的一致性，从而解决了多视图不一致的问题。 生成效率低下 ：许多现有方法需要长时间的优化过程才能生成一个高质量的3D模型，效率较低。Unique3D 通过优化生成流程，在不到30秒的时间内即可从单一输入图像生成高精度的3D网格，大大提高了生成效率。 复杂几何细节和纹理的生成 ：传统方法在生成复杂几何细节和纹理方面存在局限，尤其是在高分辨率的生成任务中表现不佳。Unique3D 采用了多级放大策略和即时一致的网格重建算法，能够在高分辨率下生成复杂的几何细节和纹理，实现更高的生成质量。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/07/demo-safe.mp4"][/video] 主要功能包括： 单图像到3D网格生成 ： 从单视图图像生成高质量的3D网格 ：Unique3D 能够从单个正交RGB图像生成高保真纹理网格，生成的网格在几何和纹理细节上高度还原原始图像。 多视角图像生成 ： 多视角扩散模型 ：从单一图像生成四个正交多视角图像，这些图像具有一致的几何细节和纹理。 多级放大策略 ： 逐步提高图像分辨率 ：通过多级放大过程，逐步提升生成的多视角图像和法线图的分辨率，确保高质量的最终输出。 法线图生成 ： 法线扩散模型 ：生成与多视角彩色图像对应的法线图，并将其提升到高分辨率空间，这对于精确的几何细节重建至关重要。 即时一致的网格重建 ： ISOMER算法 ：使用一种新颖的网格重建算法，从高分辨率彩色图像和法线图中重建高质量的3D网格。ISOMER算法能够在几秒钟内重建具有数百万面片的复杂3D网格。 高效生成 ： 快速生成3D模型 ：整个过程从输入图像到生成高精度网格耗时不到30秒，大大提高了生成效率，适用于实际应用。 高保真度和一致性 ： 高保真度 ：生成的3D网格具有高质量的纹理和几何细节。 一致性 ：确保生成的多视角图像和法线图之间的一致性，避免多视图不一致问题。 Unique3D 的技术方法详细介绍 1. 多视角扩散模型 从单一输入图像生成四个正交多视角图像。该模型基于预训练的2D扩散模型，并通过多视角依赖关系进行微调，以生成四个正交视角图像。 原理 多视角扩散模型 用于从单一输入图像生成多个视角图像。这一模型基于2D图像扩散模型进行微调，通过引入多视角依赖，能够生成四个正交视角的图像。 过程 模型初始化 ：使用预训练的2D扩散模型（如Stable Diffusion）。 视角生成 ：通过多视角依赖关系进行微调，使模型能够从单一输入图像生成四个正交视角图像（初始分辨率为256）。 一致性处理 ：为了确保多视角图像之间的一致性，在生成过程中加入视角间的注意力机制。 2. 多级放大策略 使用多级放大过程逐步提高生成的多视角图像的分辨率。首先生成低分辨率图像，然后通过逐步放大策略提高图像的清晰度和细节。 原理 多级放大策略 用于逐步提高生成的多视角图像的分辨率，确保在放大过程中保持图像的一致性和细节。 过程 初始图像生成 ：从多视角扩散模型生成初始的低分辨率图像（256x256）。 多级放大 ： 第一阶段 ：使用多视角控制网络（ControlNet）将图像分辨率提升到512x512。该网络利用多视角RGB图像作为控制信息，生成更清晰、更精确的多视角图像。 第二阶段 ：采用单视图超分辨率模型进一步将图像分辨率放大到2048x2048，实现高分辨率的图像生成。 3. 法线图生成 通过法线扩散模型生成对应于多视角彩色图像的法线图，并采用类似的策略将法线图提升到高分辨率空间。这一步对于准确的几何细节重建至关重要。 原理 法线扩散模型 用于生成与多视角彩色图像对应的法线图，这些法线图对于重建准确的几何细节至关重要。 过程 法线图生成 ：通过微调法线扩散模型，从多视角彩色图像生成对应的法线图。 法线图放大 ：使用与多视角图像生成类似的多级放大策略，将法线图分辨率提升到高分辨率（2048x2048）。 4. 即时一致的网格重建（ISOMER算法） 使用即时和一致的网格重建算法ISOMER，从高分辨率彩色图像和法线图中重建高质量的3D网格。ISOMER算法包括初始网格估计、粗细网格优化以及多视角一致性和几何细化。 原理 ISOMER算法 是一种即时和一致的网格重建方法，能够高效地从多视角彩色图像和法线图中重建高质量的3D网格。 过程 初始网格估计 ： 使用前后视图的法线图直接估计初始网格。法线图通过积分生成深度图，映射到空间位置形成初始网格。 通过泊松重建将前后视图网格无缝连接，简化初始网格。 粗细网格优化 ： 使用反向渲染技术进行网格优化，迭代优化网格模型以最小化损失函数。损失函数包括基于遮罩的损失和基于法线的损失。 通过边缘折叠、边缘分裂和边缘翻转等操作，保持网格的均匀分布和合理的边长。 显式优化目标（ExplicitTarget） ： 为每个顶点分配一个唯一的优化目标，根据多视角图像计算顶点的颜色，加权求和以生成最优颜色。 显式优化目标显著提高了几何和纹理细节，解决了多视角图像生成中的一致性问题。 扩展正则化 ： 在重建过程中，采用扩展正则化方法，通过沿顶点法线方向移动顶点，避免表面塌陷问题，确保网格的稳定性和细节。 5. 高效的不可见区域着色算法 原理 使用简单高效的颜色传播算法填充多视角不可见区域，确保网格的颜色一致性和视觉效果。 过程 颜色传播 ：通过颜色传播算法，将相邻可见区域的颜色扩散到不可见区域，确保颜色的均匀过渡和一致性。 迭代优化 ：多次迭代颜色传播过程，确保颜色在整个网格上的平滑过渡，避免明显的颜色分界线。 实验结果 对比与评估 定性比较 ： 与现有方法（如CRM、one-2-3-45、SyncDreamer、Wonder3D、OpenLRM、InstantMesh、GRM）进行比较，Unique3D在几何和材质质量上显著优于现有方法，生成的结果在几何细节和材质质量方面表现出色。 定量比较 ： 在Google Scanned Objects (GSO) 数据集上进行评估，随机选择30个对象并以1024x1024分辨率渲染正视图作为输入。 使用Chamfer Distance (CD)、Volume IoU、F-Score等指标评估几何质量，使用PSNR、SSIM、LPIPS、Clip-Similarity等指标评估视觉质量。 用户研究 ： 通过360度视频渲染主观3D模型，并让30名志愿者评价多视角一致性、主体保真度、提示保真度和整体质量。Unique3D在这些方面的评分显著高于现有方法。 主要结果 几何和材质细节 ： Unique3D在几何和纹理细节方面显著优于其他图像到3D基线方法，生成的3D网格在几何细节和纹理质量上高度还原原始图像。 生成效率 ： 整个过程从输入图像到生成高精度网格耗时不到30秒，大大提高了生成效率，适用于实际应用。 一致性 ： 通过多视角扩散模型和法线扩散模型，确保生成的多视角图像和法线图之间的一致性，避免多视图不一致问题。 用户反馈 ： 在用户研究中，Unique3D在多视角一致性、主体保真度、提示保真度和整体质量方面均获得了高分，用户对其生成效果表示满意。 案例展示： [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_xoQ0MyKy4qNmL_od1080p.mp4"][/video] [video width="1952" height="1514" mp4="https://img.xiaohu.ai/2024/07/Jietu20240722-214606-HD.mp4"][/video] [video width="1964" height="1528" mp4="https://img.xiaohu.ai/2024/07/Jietu20240722-214438-HD.mp4"][/video] [video width="1976" height="1526" mp4="https://img.xiaohu.ai/2024/07/Jietu20240722-214258-HD.mp4"][/video] 项目及演示： https://wukailu.github.io/Unique3D/ 论文： https://arxiv.org/pdf/2405.20343 GitHub： https://github.com/AiuniAI/Unique3D 官网体验： https://aiuni.ai/

Menu

分类目录

Unique 3D：不到30秒从任意RGB图像中生成高保真3D模型

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Search4All ：开源的 AI 搜索引擎分分钟打造你的Perplexity AI搜索引擎

前Stability AI 核心成员成立新公司发布 Flux.1 开源图像生成模型

英伟达 ChatRTX 增加了语音图像等多种新功能并支持新的模型

Anthropic 推出的 Message Batches API 可以批量处理大量请求价格便宜50%

微软Office全家桶大更新 Excel 中集成 Python 推出 Pages和Copilot Agents等众多功能

Melodisco：AI 版的网易云音乐一个开源的 AI 播放器收录了 30 万首 AI 歌曲

微软文本转语音虚拟数字人功能上线可以创建实时互动的数字人

阿里云发布Qwen 2开源模型性能超越目前所有开源模型和国内闭源模型

Google在其搜索中集成先进的 Gemini 模型更新一些列功能

谷歌发布 Gemini Live AI 语音助手对标GPT 4o 可模拟真人连续对话

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Unique 3D：不到30秒 从任意RGB图像中生成高保真3D模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Unique 3D：不到30秒从任意RGB图像中生成高保真3D模型