TripoSR：不到0.5秒，从单张图片快速生成高质量3D模型

Stability AI 与 Tripo AI 合作开发了 TripoSR，这是一个受到最新研究 LRM（大型单图像到3D重建模型） 启发的快速3D对象重建模型。 TripoSR能够在不到0.5秒的时间内从单张图片生成3D网格。 它基于Transforme架构，结合了多项技术改进，以提高重建效率和质量。 主要能力： 快速3D对象重建： TripoSR能够在不到0.5秒的时间内，从单张图片快速生成3D网格模型，这对于需要快速从2D图像转换到3D模型的应用领域（如娱乐、游戏开发、工业设计和建筑）来说，提供了巨大的便利。 高质量3D生成： 它利用改进的数据处理和模型设计技术，生成的3D模型在定量和定性方面均优于现有的开源方案。 广泛适用性： 通过采用多样化的数据渲染技术，TripoSR能够更接近地模拟现实世界中图像的分布，从而显著提高模型对于各种场景的泛化能力。模型能够处理不同类型和领域的输入图片，重建出各种类型对象的高质量3D模型。 开源共享： TripoSR在MIT许可下发布，提供源代码、预训练模型和在线交互式演示，促进了研究和开发社区的进步。 技术原理： 模型架构： TripoSR采用基于Transforme的架构，专门为从单张图像到3D重建设计。其核心组件包括图像编码器、图像到三维平面（triplane）解码器和基于三维平面的神经辐射场（NeRF）。 图像编码器： 使用预训练的视觉变压器模型DINOv1初始化，将RGB图像投影到一组潜在向量中，这些向量编码了图像的全局和局部特征，包含重建3D对象所需的信息。 图像到三维平面解码器： 将潜在向量转换到三维平面-NeRF表示，这是一种紧凑且表达丰富的3D表示方式，适合表现具有复杂形状和纹理的对象。 三维平面基NeRF模型： 包含一系列多层感知机（MLP），负责预测空间中3D点的颜色和密度。 技术改进： 数据策划和渲染： 为训练数据，精心策划了一个更高质量的CC-BY子集，即 Objaverse 数据集。采用多样化的数据渲染技术，提高训练数据的质量，增强模型的泛化能力。 三维平面通道优化： 优化了三维平面-NeRF表示中的通道配置，平衡了重建质量和计算效率，允许在训练阶段使用更大的批量大小和更高的分辨率。 掩模损失函数： 引入掩模损失函数减少了“浮动”伪影，提高了重建的真实性。 局部渲染监督： 完全依赖渲染损失进行监督，采用了高分辨率渲染策略，通过渲染训练图像的随机补丁来平衡计算效率和重建的细节。 测试结果： 定量比较： 在GSO和OmniObject3D验证集上进行的定量比较显示，TripoSR在Chamfer Distance (CD) 和 F-score 指标上显著优于所有基线方法，包括One-2-3-45、ZeroShape、TGS (TriplaneGaussian) 和 OpenLRM。这些结果证明了TripoSR在精确捕捉3D对象形状和细节方面的高效能。 性能与运行时间： TripoSR不仅在性能上表现出色，而且在推理速度上也有显著优势。在NVIDIA A100 GPU上，TripoSR能够在大约0.5秒内从单张图像生成3D网格，这使其成为最快的网络之一，、这一速度比其他图像到3D模型，如OpenLRM，快得多，显示出TripoSR在快速3D对象重建方面的显著优势。 视觉结果： 报告中还展示了不同方法的定性比较结果。与其他一些方法如ZeroShape和TGS相比，TripoSR能够生成具有更高质量和更好细节的3D形状和纹理。TripoSR不仅能够更好地捕捉到对象的整体3D结构，还能够在模拟复杂细节方面表现出色。 详细介绍： https://stability.ai/news/triposr-3d-generation 技术报告： https://stability.ai/s/TripoSR_report.pdf 模型下载： https://huggingface.co/stabilityai/TripoSR 在线演示： https://huggingface.co/spaces/stabilityai/TripoSR GitHub： https://github.com/VAST-AI-Research/TripoSR

Menu

分类目录

TripoSR：不到0.5秒，从单张图片快速生成高质量3D模型

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

SDXL精选微调模型API大全可直接运行或者使用

Poe 推出Previews 的新功能可在聊天窗口直接生成Web应用程序并进行互动

报告：2024年美国机器人技术发展路线图

Seed-Music：字节跳动开发的音乐生成模型支持多种数据输入生成和编辑音乐

Unique 3D：不到30秒从任意RGB图像中生成高保真3D模型

Hebbia获得近1亿美元B轮融资利用AI一次可以处理多达数百万份文档

Agent Hospital ：一个完全模拟整个医院环境和流程的AI医院

FLUX 1.1 Pro Ultra 发布支持高达 4 兆像素的分辨率每张图片仅需约 10 秒

将TI-84计算器改装连接到互联网并接入ChatGPT 实现作弊功能

Zerox ：一个简单易用的GPT OCR 工具可将 PDF、DOCX 等文件转换为 Markdown 格式

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

TripoSR：不到0.5秒，从单张图片快速生成高质量3D模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?