腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

腾讯推出的一体化 3D 生成框架： 混元3D-1.0 ，支持从文本和图像生成 3D 内容，仅需 10 秒便可生成3D模型。 文本到 3D ：用户可以通过简单的文本描述生成 3D 对象。例如，描述一片绿叶或一把棕色吉他，模型将生成对应的 3D 物体。 [video width="2012" height="1724" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180343-HD.mp4"][/video] 图像到 3D ：支持多种尺度的物体重建，从大型建筑到小型工具和植物都能准确生成。 [video width="2000" height="1630" mp4="https://img.xiaohu.ai/2024/11/Jietu20241105-180510-HD.mp4"][/video] 多视角生成 ：生成物体的多角度2D视图，确保3D模型的细节和一致性，让模型看起来更真实。 快速3D重建 ：利用多个视角的图像在短时间内重建出完整的3D模型，约10秒即可完成，适合需要快速生成3D内容的应用。 高分辨率细节增强 ：具备提升细节清晰度的超分辨率模块，让生成的3D模型更加精细。 显式3D网格输出 ：支持直接输出可编辑的3D网格，方便在其他3D软件中进一步编辑和使用。 10 秒内生成 ：包括网格和纹理提取在内，整个过程在 10 秒内完成。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/11/twittervid.com_si_pbc_fb0105.mp4"][/video] 技术细节 两阶段生成流程 ： 第一阶段：多视角扩散模型（Multi-View Diffusion Model） 多视角生成 ：在该阶段，模型生成多个视角的 RGB 图像，每个图像从不同的角度捕捉目标对象。这些多视角图像保留了 3D 对象的丰富纹理和几何信息，将 3D 生成任务从单视图重建转化为多视角重建，从而提升了 3D 生成的准确性。 生成速度 ： 标准版本的多视角生成过程约耗时 4 秒 ，lite 版本优化了生成速度，适用于需要更快速响应的场景。 降噪与一致性 ：多视角图像生成过程中，扩散模型会通过控制噪声水平和视角一致性，使得图像质量更高，为后续的 3D 重建奠定基础。 第二阶段：前馈重建模型（Feed-Forward Reconstruction Model） 3D 重建 ：基于第一阶段的多视角图像进行 3D 重建，约需 7 秒。在第二阶段，前馈重建模型基于第一阶段生成的多视角图像快速重建出高精度的 3D 模型。这个阶段大约耗时 3 秒。 噪声与不一致处理 ：前馈模型具备处理噪声和多视角不一致的能力，通过对图像信息的进一步提取和合成，生成更加完整和真实的 3D 结构。 最终输出 ：重建的 3D 模型包含完整的网格和纹理信息，适用于直接应用于 VR/AR、游戏和动画等领域。 2. 0度仰角摄像机轨道设置 技术描述 ：在多视角生成阶段，摄像机被设置为0度仰角（水平视角），并沿特定轨道移动以捕捉物体的多个视角。 技术优势 ：0度仰角设置使生成的多视角图像间的可见区域尽可能大化，从而确保视角之间的内容一致性。这种设置可以有效减少视角间的不一致性，提高3D重建的准确性。 3. 自适应分类器无指导机制 技术描述 ：混元3D-1.0 在多视角生成中采用了自适应的分类器无指导（CFG）机制，根据不同的视角和时间动态调整CFG值，以平衡细节的控制和视角的一致性。 技术优势 ：传统固定的CFG值可能会导致某些视角下生成图像出现阴影或细节丢失，而自适应CFG机制根据视角的不同动态调整CFG值，使得模型在保持细节的同时增强了生成图像的多样性和一致性。 4. 混合输入方法 技术描述 ：在稀疏视角重建阶段，除了使用已知视角的RGB图像，混元3D-1.0 还引入未校准的条件图像作为辅助视图，以补充多视角生成图像中未被覆盖的区域。 技术优势 ：混合输入方法可以有效地弥补多视角图像的盲区，提高3D重建的准确性。尤其对于一些视角不完整的物体（如顶视图），该方法可以更好地恢复3D模型的完整形状。 5. 超分辨率模块 技术描述 ：混元3D-1.0 使用轻量级超分辨率模块，在不显著增加内存和计算成本的前提下，提高三平面特征的分辨率。 技术优势 ：高分辨率的三平面特征能够捕捉到更多的3D细节，提升生成模型的清晰度和细腻度。该模块可以有效减少低分辨率生成中的伪影问题，适用于需要高质量3D模型的场景。 6. 显式3D表示与网格转换 技术描述 ：在3D重建中，混元3D-1.0 使用签名距离函数（SDF）来表示3D形状，并通过 Marching Cubes 算法将其转换为显式3D网格。 技术优势 ：显式网格输出便于用户在其他3D软件中进行进一步编辑和应用，比如在游戏和影视中直接使用生成的3D模型。这种方法让生成的3D模型更具实用性，便于后续加工和整合。 模型优化与性能 参数规模 ：标准版本的参数量比 lite 版本多 3 倍，能够在较高的细节层次上生成 3D 内容，适用于对质量要求较高的应用。 生成速度 ：在 NVIDIA A100 GPU 上，lite 版本生成 3D 网格大约需要 10 秒，标准版本约 25 秒。通过这一优化，Hunyuan3D-1.0 平衡了速度与生成质量，在 3D 生成任务中表现出色。 可配置性 ：用户可以通过设置随机种子、采样步数、面片数量等参数来控制生成过程的输出，进一步提升模型的灵活性和应用范围。 官网： https://3d.hunyuan.tencent.com/ GitHub： https://github.com/Tencent/Hunyuan3D-1 论文： https://3d.hunyuan.tencent.com/hunyuan3d.pdf 模型： https://huggingface.co/tencent/Hunyuan3D-1

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Menu

分类目录

腾讯发布3D开源模型：混元-3D 10秒即可生成高分辨率细3D模型

Related Posts

Recommendeds

Spacetop：世界上首款 AR（增强现实）电脑 100 英寸大屏幕

StyleSketch：从面部图像中提取高分辨率的风格化素描图像

基于模型的多智能体短视频推荐系统已经为数亿用户提供服务

阿里巴巴发布语音模型：Qwen2-Audio 可与模型直接语音对话和分析转录各种声音

GPTEngineer：AI 开发工程师几秒钟内创建一个网站并可一键部署

MovieLLM: 用AI合成电影数据用来训练AI对长视频理解

微软发布Phi-3.5-vision 轻量级、多模态的开源模型端侧运行可进行复杂视觉推理

生数科技的 Vidu 视频模型开放 Sora架构可模仿真实物理世界开放了API申请

硅基智能开源其AI数字人交互平台可以轻松创建逼真数字人

RoboflowSports ：跟踪检测和识别运动员行为提供比赛实时分析

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?