CAT3D：1分钟从任意数量的图像生成一致的高质量3D新视图

CAT3D是一种使用多视角扩散模型从任意数量的输入图像创建3D场景的方法。它可以从任意数量的图像生成一致的新视图，用于3D重建，达到实时渲染的效果。 该模型通过模拟真实的捕捉过程生成场景的新视角，这些生成的视角可以用于3D重建技术，从而生成可以从任何视角实时渲染的3D表示。整个处理过程（包括视图生成和3D重建）只需一分钟。 其核心技术包括： 多视角扩散模型 ：用于生成一致的新视角，模拟真实相机移动过程。 高斯斑点和NeRF技术 ：用于3D重建，生成高质量的3D模型。 感知损失（LPIPS） ：确保生成的3D表示在视觉上与输入图像一致。 高效的实时渲染 ：使用户可以交互式地查看和操作生成的3D场景。 [video width="1698" height="408" mp4="https://img.xiaohu.ai/2024/05/howitworks.mp4"][/video] 主要功能特点 1. 多视图生成 CAT3D利用一个经过训练的多视图扩散模型来生成一致的新视图，可以从几张图片生成新的图片，这些新图片看起来就像是从不同角度拍摄的一样。 多视角扩散模型 ：可以根据输入的图像生成该场景的多个新视角。这些视角与输入图像一致，模拟了从不同角度观察同一场景的效果。 输入图像 可以是通过相机拍摄的照片，也可以是通过其他方式生成的图像。输入的图像数量可以是任意的，从一张到数百张甚至更多。并了解这些图片的拍摄角度。 生成新图片 ：根据目标角度生成新的图片，保证所有图片看起来像是同一个物体的不同角度。 特点： 高效生成高质量图片。 确保图片在空间和时间上保持一致。 2. 设计相机路径 为了更好地创建3D模型，CAT3D设计了多种相机移动路径，以覆盖场景的所有重要部分。可以像人在真实世界中移动相机时那样生成场景的不同视角。这些新视角看起来就像是从不同位置拍摄的照片。 不同的相机路径 ：包括环绕物体的路径、前向的圆形路径、不同高度的样条路径和螺旋路径。 路径选择 ：根据场景特点选择合适的路径，确保相机不会穿过物体。 特点： 自适应路径设计，提高重建准确性。 灵活的路径设计，适用于不同场景。 3. 稳健的3D重建 CAT3D生成的新图片作为输入，经过稳健的3D重建流程，创建高质量的3D模型。具体功能包括： 训练过程 ：修改后的训练方法，处理图片之间的差异。 损失函数 ：使用特殊的感知损失函数，确保生成的3D模型在视觉上高度一致。 特点： 改进的训练方法，提高模型鲁棒性。 使用感知损失，确保高质量纹理和几何形状。 4. 多种输入模式 CAT3D支持从单张图片或多张图片生成3D模型。具体功能包括： 单张图片到3D ：从一张图片生成完整的3D模型。 多张图片到3D ：利用多张图片提高3D重建的精度。 特点： 单张图片生成3D，快速高效。 多张图片模式下，重建更精准。 5. 实时渲染 CAT3D生成的3D模型可以实时渲染，适用于游戏、视觉特效和混合现实设备。具体功能包括： 实时交互 ：生成的3D模型可以从任意角度进行渲染，支持实时互动。 高质量渲染 ：生成的3D内容与真实世界高度一致。 特点： 高效的重建流程，生成时间从几小时减少到1分钟。 适用于游戏和虚拟现实等需要实时反馈的应用场景。 效果展示 [video width="1080" height="720" mp4="https://img.xiaohu.ai/2024/05/X2Twitter.com_1791528062284124160720p.mp4"][/video] [video width="1064" height="720" mp4="https://img.xiaohu.ai/2024/05/5月18日-1.mp4"][/video] [video width="834" height="720" mp4="https://img.xiaohu.ai/2024/05/5月18日-11.mp4"][/video] 项目及演示： https://cat3d.github.io/ 论文： https://arxiv.org/abs/2405.10314 图库： https://cat3d.github.io/gallery.html

Menu

分类目录

CAT3D：1分钟从任意数量的图像生成一致的高质量3D新视图

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

教程：如何在 Midjourney 中通过混合 srefs 创建双重色彩图像效果

RAFT：可以显著提升提高LLMs在RAG方面的能力的方法

MobiLlama：一个0.5B大小能在手机上运行的小型语言模型

每首歌索赔 15 万美元索尼、环球音乐、华纳起诉 Suno 和 Udio

ReadKidz：利用AI一键生成儿童绘本故事书和多媒体故事可随心定制设定

Hugging Face 推出一站式搜索开源成果的平台：Paper Central

AtomoVideo：高保真图像到视频生成符合真实世界运动状态

Spline 推出3D设计工具：AI 3D Generation 支持文本生成3D模型

OpenCodeInterpreter：能够执行代码的代码解释器

DeepFaceLive：可以在直播过程和视频通话时进行实时换脸的工具

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

CAT3D：1分钟从任意数量的图像生成一致的高质量3D新视图

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?