腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

腾讯推出的一体化 3D 生成框架： 混元3D-1.0 ，支持从文本和图像生成 3D 内容，仅需 10 秒便可生成3D模型。 文本到 3D ：用户可以通过简单的文本描述生成 3D 对象。例如，描述一片绿叶或一把棕色吉他，模型将生成对应的 3D 物体。 [video width="2012" height="1724" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180343-HD.mp4"][/video] 图像到 3D ：支持多种尺度的物体重建，从大型建筑到小型工具和植物都能准确生成。 [video width="2000" height="1630" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180510-HD.mp4"][/video] 多视角生成 ：生成物体的多角度2D视图，确保3D模型的细节和一致性，让模型看起来更真实。 快速3D重建 ：利用多个视角的图像在短时间内重建出完整的3D模型，约10秒即可完成，适合需要快速生成3D内容的应用。 高分辨率细节增强 ：具备提升细节清晰度的超分辨率模块，让生成的3D模型更加精细。 显式3D网格输出 ：支持直接输出可编辑的3D网格，方便在其他3D软件中进一步编辑和使用。 10 秒内生成 ：包括网格和纹理提取在内，整个过程在 10 秒内完成。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/11/twittervid.com_si_pbc_fb0105.mp4"][/video] 技术细节 两阶段生成流程 ： 第一阶段：多视角扩散模型（Multi-View Diffusion Model） 多视角生成 ：在该阶段，模型生成多个视角的 RGB 图像，每个图像从不同的角度捕捉目标对象。这些多视角图像保留了 3D 对象的丰富纹理和几何信息，将 3D 生成任务从单视图重建转化为多视角重建，从而提升了 3D 生成的准确性。 生成速度 ： 标准版本的多视角生成过程约耗时 4 秒 ，lite 版本优化了生成速度，适用于需要更快速响应的场景。 降噪与一致性 ：多视角图像生成过程中，扩散模型会通过控制噪声水平和视角一致性，使得图像质量更高，为后续的 3D 重建奠定基础。 第二阶段：前馈重建模型（Feed-Forward Reconstruction Model） 3D 重建 ：基于第一阶段的多视角图像进行 3D 重建，约需 7 秒。在第二阶段，前馈重建模型基于第一阶段生成的多视角图像快速重建出高精度的 3D 模型。这个阶段大约耗时 3 秒。 噪声与不一致处理 ：前馈模型具备处理噪声和多视角不一致的能力，通过对图像信息的进一步提取和合成，生成更加完整和真实的 3D 结构。 最终输出 ：重建的 3D 模型包含完整的网格和纹理信息，适用于直接应用于 VR/AR、游戏和动画等领域。 2. 0度仰角摄像机轨道设置 技术描述 ：在多视角生成阶段，摄像机被设置为0度仰角（水平视角），并沿特定轨道移动以捕捉物体的多个视角。 技术优势 ：0度仰角设置使生成的多视角图像间的可见区域尽可能大化，从而确保视角之间的内容一致性。这种设置可以有效减少视角间的不一致性，提高3D重建的准确性。 3. 自适应分类器无指导机制 技术描述 ：混元3D-1.0 在多视角生成中采用了自适应的分类器无指导（CFG）机制，根据不同的视角和时间动态调整CFG值，以平衡细节的控制和视角的一致性。 技术优势 ：传统固定的CFG值可能会导致某些视角下生成图像出现阴影或细节丢失，而自适应CFG机制根据视角的不同动态调整CFG值，使得模型在保持细节的同时增强了生成图像的多样性和一致性。 4. 混合输入方法 技术描述 ：在稀疏视角重建阶段，除了使用已知视角的RGB图像，混元3D-1.0 还引入未校准的条件图像作为辅助视图，以补充多视角生成图像中未被覆盖的区域。 技术优势 ：混合输入方法可以有效地弥补多视角图像的盲区，提高3D重建的准确性。尤其对于一些视角不完整的物体（如顶视图），该方法可以更好地恢复3D模型的完整形状。 5. 超分辨率模块 技术描述 ：混元3D-1.0 使用轻量级超分辨率模块，在不显著增加内存和计算成本的前提下，提高三平面特征的分辨率。 技术优势 ：高分辨率的三平面特征能够捕捉到更多的3D细节，提升生成模型的清晰度和细腻度。该模块可以有效减少低分辨率生成中的伪影问题，适用于需要高质量3D模型的场景。 6. 显式3D表示与网格转换 技术描述 ：在3D重建中，混元3D-1.0 使用签名距离函数（SDF）来表示3D形状，并通过 Marching Cubes 算法将其转换为显式3D网格。 技术优势 ：显式网格输出便于用户在其他3D软件中进行进一步编辑和应用，比如在游戏和影视中直接使用生成的3D模型。这种方法让生成的3D模型更具实用性，便于后续加工和整合。 模型优化与性能 参数规模 ：标准版本的参数量比 lite 版本多 3 倍，能够在较高的细节层次上生成 3D 内容，适用于对质量要求较高的应用。 生成速度 ：在 NVIDIA A100 GPU 上，lite 版本生成 3D 网格大约需要 10 秒，标准版本约 25 秒。通过这一优化，Hunyuan3D-1.0 平衡了速度与生成质量，在 3D 生成任务中表现出色。 可配置性 ：用户可以通过设置随机种子、采样步数、面片数量等参数来控制生成过程的输出，进一步提升模型的灵活性和应用范围。 官网： https://3d.hunyuan.tencent.com/ GitHub： https://github.com/Tencent/Hunyuan3D-1 论文： https://3d.hunyuan.tencent.com/hunyuan3d.pdf 模型： https://huggingface.co/tencent/Hunyuan3D-1

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Menu

分类目录

腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

Related Posts

Recommendeds

NotebookLlama：Meta 发布了一个通过Llama从 PDF 文件生成播客的引导式教程

RAGApp：无需编写代码，轻松构建企业级RAG聊天机器人

Med-Gemini：基于Google Gemini的多模态医学大模型可以理解手术视频

ToucanTTS：支持语言种类最多的 TTS 模型支持超过7000种语言的语音合成

ReFlux：一次使用多个微调的 FLUX.1 模型在一个无限大的画布上生成图像

腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Interactive3D：用户可以直接通过交互操作指导3D模型生成

Google发布其开源模型Gemma 2 全新的架构设计性能大幅提升

One-Click Creative Template：创意模型用一张卡通图片总结4张真实人物照片

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?