InstanceDiffusion：允许用户以前所未有的精度控制图片中每个细节

InstanceDiffusion是一个由BAIR, UC Berkeley和GenAI, Meta共同开发的新技术。 InstanceDiffusion为文本到图像生成引入了实例级别的控制，允许用户以前所未有的精度控制图片中的每个细节，无论是物体的位置、大小还是外观，都可以根据用户的具体要求来生成，大大拓展了图像创造的可能性。 在不具备实例级别控制的图像生成系统中，整个图像是根据一个总体的描述一次性生成的，而不能精细调整图像中的单个元素。而有了实例级别的控制，用户就能根据需要调整每个元素的细节，实现更高度个性化和具体化的图像创作。例如，如果你想要生成一张包含一只猫和一朵花的图片，实例级别的控制可以让你详细指定猫的位置、颜色、大小，以及花的种类、颜色和位置，从而生成完全符合你想象中的场景的图像。 [video width="1920" height="746" mp4="https://img.xiaohu.ai/2024/03/instdiff-turnhead-4.mp4"][/video] InstanceDiffusion的主要功能包括： 实例级别的控制 ：它允许用户对生成的图像中的每个单独实例（如物体、人物等）进行精确的控制。这意味着用户可以指定每个实例的外观、位置和其他特性。

自由形式的语言描述 ：对于图像中的每个实例，用户可以使用自由形式的文本描述来定义它。这包括对实例的颜色、大小、纹理等细节的描述。

灵活的位置指定 ：用户可以通过多种方式来指定实例在图像中的位置，包括使用点、涂鸦、边界框或更复杂的实例分割掩码等方法。

改进的图像保真度和多实例生成 ：通过引入特定的技术块和采样器，如UniFusion块、ScaleU块和多实例采样器，InstanceDiffusion提高了图像的保真度，并改善了包含多个实例的图像生成的质量。

迭代图像生成 ：支持迭代或多轮图像生成，允许用户在不显著改变已生成实例的情况下，逐步添加新的实例或对现有实例进行编辑。

[video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/03/instdiff-iterative.mp4"][/video] 三大技术改进 提出了三个主要改进来实现精确的实例级别控制： UniFusion块 ：使文本到图像模型支持实例级别条件。 ScaleU块 ：改进图像保真度。 多实例采样器 ：优化多实例生成效果。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/03/3月6日1.mp4"][/video] 工作原理 UniFusion块 ：这是InstanceDiffusion的核心组成部分，它的作用是将每个实例的文本描述和位置信息整合到一起。这个过程通过将不同形式的实例级别条件（如文本描述和位置标记）转换为统一的特征空间，并将这些信息注入到图像生成模型的视觉令牌中。这样做能够让模型理解每个实例的具体要求，并根据这些要求生成图像。

ScaleU块 ：这个组件用于改善图像的保真度。它通过调节UNet模型中的主要特征和低频组件，来增强模型按照指定布局条件精确生成图像的能力。这意味着生成的图像能更好地遵循用户对每个实例的具体描述，如位置、大小和外观等。

多实例采样器 ：当图像中包含多个实例时，这个机制有助于减少不同实例条件之间的信息泄露和混淆。它通过对每个实例的条件进行单独处理，然后将处理后的结果整合到图像生成过程中，从而确保每个实例都能按照用户的要求精确生成，而不会受到其他实例的干扰。

实例级别的语言条件 ：用户可以为图像中的每个实例提供自由形式的文本描述。InstanceDiffusion通过分析这些描述来获取对每个实例的具体要求，包括它们的属性、位置和与其他实例的关系等。

灵活的位置指定 ：用户可以通过多种方式指定每个实例的位置，包括单点、涂鸦、边界框或更复杂的实例分割掩码。InstanceDiffusion能够理解这些不同形式的位置信息，并据此在生成图像时精确放置每个实例。

通过这些技术组合，InstanceDiffusion能够提供前所未有的控制能力，让用户能够精确地指定和调整生成图像中每个实例的具体细节，从而创造出高度定制化和符合个人想象的图像。 举例解释 想象一下，如果你想要一个图片里有一只猫坐在窗台上，天空中飘着几朵云，你只需要用文字描述这个场景，InstanceDiffusion就能帮你生成这样一个图片。 它怎么做到的？ 按需定制 ：你可以为图片中的每一个物体（我们称之为“实例”）提供具体的描述，比如“一只橘色的猫”、“蓝天上的白云”等。InstanceDiffusion会根据这些描述来生成图片。

指定位置 ：不仅如此，你还可以告诉InstanceDiffusion这些物体应该出现在图片的哪个位置。无论是用一个点来简单标记，还是画一个框来指定区域，甚至是更复杂的方式，比如用线条画出物体的形状，InstanceDiffusion都能理解你的意图并按照要求生成图片。

精确控制 ：通过一些特别设计的技术，InstanceDiffusion能够非常精确地控制图片中每个物体的外观和位置，确保最终的图片完全符合你的描述。

有什么特别之处？ 更多的创造自由 ：你可以根据心情或需要，创造出包含各种元素和场景的图片，每个元素的位置、大小和样式都能控制。

修改和迭代 ：如果你觉得画中缺点什么，或者想改变某个元素的位置，InstanceDiffusion允许你一次又一次地修改，直到满意为止，就像不断润色的艺术品。

比较好的结果 ：使用InstanceDiffusion生成的图片不仅符合描述，而且看起来非常自然和真实，就像是专业的艺术家画出来的一样。

项目及演示： https://people.eecs.berkeley.edu/~xdwang/projects/InstDiff/ 论文： https://arxiv.org/abs/2402.03290 GitHub： https://github.com/frank-xwang/InstanceDiffusion