StructLDM：根据2D图像的学习自动生成3D的人体模型

StructLDM项目是由南洋理工大学开发的一个先进的3D人体生成技术。 它能够根据2D图像的学习，自动生成3D的人体模型。 传统的3D人体生成方法通常在一个压缩的、维度较低的潜在空间中模拟人体，这限制了生成模型的表达力。StructLDM通过探索一个更高维度的潜在空间来解决这一问题。这个高维潜在空间能够更好地捕捉人体的结构和语义信息，从而生成更为复杂和多样的3D人体模型。 它采用了一种基于扩散模型的技术，这种技术在生成图像或模型时，能够从一开始的随机噪声中，逐步添加细节，最终生成清晰、细腻的3D人体模型。这种方法相较于传统的直接生成方式，能够创造出更自然、更具细节的结果。 而且生成的过程不需要额外的条件输入（如标签或特定的控制信号）就能自动进行。 StructLDM能够仅凭借2D图像的学习经验，自主生成多样化的3D人体模型，而不需要指定具体的模型类型或特征。 主要功能 高度表达的3D人类生成 ：利用结构化潜在空间和3D自动解码器，StructLDM能够生成具有丰富细节和高度真实感的3D人类模型。这些模型在不同的姿势、视角和服装风格下都能保持视觉一致性。

可控制的生成和编辑 ：StructLDM支持不同层次的控制，包括姿势、视图、形状控制，以及更高级的编辑任务，如组合生成、部位感知的服装编辑和3D虚拟试穿等。

组合生成 ：可以通过混合选择的五个部分（例如，头部、身体、手臂、腿部等）来创建新的人类模型。这种方式允许用户自由组合不同部分，创造出独特的人类形象。 部位感知编辑 ：支持如身份交换、局部服装编辑和3D虚拟试穿等编辑功能。用户可以对生成的人类模型的特定部分（如面部、衣物等）进行修改和定制，实现更加个性化的调整。 语义结构化编辑 ：项目支持基于UV空间的结构化编辑，能够对3D人类模型的特定部位进行精细调整和修改，为复杂的编辑任务提供了可能。

服装不可知的生成和编辑 ：生成和编辑过程不依赖于特定的服装类型或掩码条件。这意味着StructLDM在创建或编辑人类模型时，不需要预先定义服装的具体类型或样式，使得过程更加灵活和广泛适用。

无条件生成模型 ：直接从2D图像学习，无需额外条件输入就能生成3D人类模型。 技术原理 1. 结构化潜在空间 定义 ：在统计人体模板的密集表面流形上定义了一个语义结构化潜在空间，这个空间能够捕捉到人体拓扑的细节和复杂性。 目的 ：通过这种方式，StructLDM能够理解和模拟人体各部分的结构和语义信息，使生成的人类模型在不同姿势和服装风格下保持视觉一致性。 2. 结构化3D自动解码器

实现 ：该解码器将全局潜在空间分解为多个语义身体部位，并通过条件化的结构化局部NeRF（神经辐射场）来参数化这些部位，这些NeRF固定在身体模板上。 功能 ：它能够从2D训练数据中学习到的属性，并解码渲染出具有一致视角的人类形象，支持在不同姿势和服装风格下的精确渲染。 3. 结构化潜在扩散模型

扩散过程 ：采用了结构化潜在扩散过程对人类外观进行采样。这个过程特别针对3D人类的结构进行优化，允许在结构化潜在空间中进行高效采样。 编辑能力 ：支持不同层次的可控制3D人类生成和编辑，包括姿势、视图、形状控制以及更高级任务如组合生成和部分感知的服装编辑等。 4. 两阶段生成框架

第一阶段（自动解码器学习） ：使用给定的训练数据集，通过自动解码器学习结构化潜在空间，优化每个训练样本的潜在表示。 第二阶段（扩散模型训练） ：在结构化潜在空间上训练扩散模型，随机采样并解码以生成3D人类形象。 5. 部位感知编辑与组合生成

StructLDM能够将人体分解为多个独立的部分（例如，头部、躯干、四肢等），然后用户可以从这些部分中选择并组合，以创建新的3D人类模型。 结果特点 ：通过这种方式，可以在b）部分实现连贯的组合和混合结果，即使是从不同模型中选择的部分也能自然地融合在一起，形成一个统一和谐的整体。 编辑过程 ：利用所谓的Diff-Render（差异渲染）过程，StructLDM支持对单独的身体部位进行编辑，不仅限于简单的替换，还包括更复杂的调整，如改变颜色、纹理或者形状等。 应用范围 ：这种部分感知编辑能力开启了众多下游任务的可能性，在c）部分提到的可能包括但不限于身份交换、局部服装编辑、3D虚拟试穿等。 StructLDM 可以生成合成三维人体并进行部件感知编辑。从 a) 中提取六个身体部位，即可在 b) 中实现连贯的合成和混合效果。使用 Diff-Render 程序，可在 c) 中进行部件感知编辑，完成大量下游任务。

应用场景示例 身份交换 ：通过替换模型的特定部分（如头部），可以实现不同模型间的身份交换。 局部服装编辑 ：允许用户只对模型的服装部分进行修改，比如改变衣物的颜色或样式，而不影响模型的其他部分。 3D虚拟试穿 ：用户可以将不同的服装模型应用于同一个3D人体模型上，从而实现虚拟试穿的效果。 推动3D人类模型生成技术的发展 ：通过引入结构化潜在空间和扩散模型，StructLDM为3D人类模型的生成技术提供了新的研究方向和技术路线。 增强数字内容创作的能力 ：StructLDM的高度控制性和编辑能力使得数字艺术家和内容创作者能够更加轻松地创造出符合需求的3D人类角色，从而丰富和优化动画、游戏和虚拟现实等数字内容的创作。 开拓新的应用领域 ：StructLDM的技术能够被应用于动画制作、游戏开发、虚拟试衣、社交媒体虚拟形象创造等多个领域，推动这些领域的技术进步和创新发展。 一些实例 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/04/ubc_gen.mp4"][/video] 根据UBCFashion数据集中的2D图像，通过其高级的3D生成技术，创建出在视觉上多样化的3D人类形象。这些生成的人类模型不仅在姿势、外观和服装样式上呈现多样性，而且能够适应不同的时尚趋势和场景，展示了StructLDM在3D人体生成领域的强大能力和应用潜力。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/04/compos.mp4"][/video] 通过组合不同部分（如头部、身体、手臂等）来生成新的3D人类模型的方法。在这种生成方式中，每个部分都可以独立选择和修改，然后再将它们组合在一起形成一个完整的人体模型。这种方法允许创造者根据需要自由地混合和匹配不同的特征，从而生成具有独特外观和特性的新模型。例如，可以通过选择不同的头部、服装和姿势，来创造一个符合特定场景需求或个人偏好的3D人物角色。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/04/free.mp4"][/video] 在UBCFashion数据集上应用新视角合成技术。根据数据集提供的2D图像生成3D人体模型后，可以从之前未曾捕捉或不存在的新角度渲染和查看这些模型。这种方法允许用户从任意视角观察生成的3D人物，无论原始图像是否包含那个视角。通过这种技术，可以大大增强虚拟服装试穿、游戏角色设计、动画制作等应用的视觉体验和互动性，使得用户能够全方位地审视和评估3D模型的细节。 项目及演示： https://taohuumd.github.io/projects/StructLDM/ 论文： https://arxiv.org/pdf/2404.01241.pdf GitHub： https://github.com/TaoHuUMD/StructLDM