StoryMaker：一致性角色图像解决方案能同时保持面部、服装、发型和身体姿态一致性

StoryMaker是一个旨在生成一致性角色图像的个性化解决方案。它不仅可以在多人物场景中保持角色的面部一致性，还包括衣服、发型和身体姿态一致性，进而可以用于生成系列图片构成的故事情节。 这种一致性对于讲述连续的故事非常重要，例如在漫画、故事可视化等场景中。 解决了什么问题： 整体一致性 ：以往的图像生成方法可以在面部特征上保持一致性，但无法在服装、发型和身体等其他方面做到一致。StoryMaker 通过结合面部和裁剪的角色图像信息，实现了角色的全面一致性。 避免角色和背景混合 ：在多角色生成时，传统方法容易导致角色之间或者角色与背景之间的混淆。StoryMaker 通过对交叉注意力区域的约束，保证了不同角色和背景之间的独立性。 姿势解耦 ：StoryMaker 通过姿势解耦技术，使得角色能够在不同的图像中表现出不同的姿势，而不依赖于参考图像的姿势，使生成的故事更加多样化。 StoryMaker 的主要功能包括： 多角色一致性生成 ：StoryMaker 能够生成多角色的图像，并在面部、服装、发型和身体等方面保持一致性。这对于生成具有连贯性和叙事性的图像序列非常重要。 背景与角色分离 ：通过对不同角色和背景的交叉注意力进行约束，StoryMaker 能有效避免角色与背景或不同角色之间的混淆，从而保持图像中各部分的清晰分离。 姿势多样性 ：StoryMaker 支持姿势解耦，通过结合 ControlNet，能够在保持角色一致性的同时生成不同姿势的角色图像。这使得角色能够在不同的场景中表现出多样化的动作和姿态。 高保真图像生成 ：通过 LoRA 技术，StoryMaker 能够增强图像的保真度和视觉质量，在生成图像时不仅保持一致性，还确保图像的细节和逼真度。 灵活的文本控制 ：StoryMaker 可以通过文本提示控制生成图像的背景、姿势和风格，使得用户可以根据不同的场景需求生成符合叙事需求的图像序列。 多种应用支持 ：该模型支持包括服装交换、角色插值等功能，并能与其他生成插件（如 LoRA、ControlNet）集成，提供多样化的生成应用场景。 核心技术与主要方法 1. 核心技术 Positional-aware Perceiver Resampler (PPR) ： PPR 是 StoryMaker 的核心技术之一，负责从参考图像中提取面部和角色特征。它通过独立的 Resampler 模块分别处理面部特征和角色特征，然后结合位置信息嵌入（Positional Embedding）来区分不同的角色。通过这种方式，StoryMaker 能够在多角色场景中保持每个角色的独立性，防止角色与背景或其他角色之间的特征混淆。 功能 ：用于提取和处理角色的面部、服装、发型和身体特征，将这些信息整合为角色特征嵌入，并通过位置信息区分不同角色。 工作原理 ：PPR 模块从面部特征和角色特征中生成嵌入信息，结合位置信息区分角色与背景，确保每个角色的外观一致性。 Decoupled Cross-Attention（解耦的交叉注意力） ： 这个技术基于 IP-Adapter，允许图像生成模型在生成过程中，将角色的图像特征与文本提示进行解耦。具体而言，它通过双重交叉注意力机制，将面部和角色特征分别注入到文本-图像生成模型中，确保生成的图像能够保持角色的一致性。 功能 ：避免多角色与背景之间的混淆，确保角色和背景在图像中的独立性。 工作原理 ：通过分离交叉注意力机制，角色和背景信息被独立嵌入到生成模型中，以确保不同元素的清晰分割。 ControlNet ： ControlNet 被用于解决姿势生成的控制问题。通过对角色图像的姿势信息进行解耦，StoryMaker 可以通过文本提示或参考姿势控制生成图像中的角色姿势变化，这对于多图像序列的生成尤其重要。 功能 ：支持生成具有不同姿势的角色图像，从而增加生成图像的多样性和叙事能力。 工作原理 ：结合 ControlNet，StoryMaker 能在保持角色一致性的同时，通过文本或预定义的姿势控制生成的角色姿势。 LoRA（Low-Rank Adaptation） ： LoRA 是用来提升图像生成质量和一致性的重要模块。它通过对每一层的交叉注意力进行微调，增强了角色身份、服装和发型的一致性，同时提高了生成图像的细节质量。LoRA 的低秩适应技术有效减少了训练的计算负担，同时保持了高质量的输出。 功能 ：增强图像的保真度和视觉质量，保持角色的一致性。 工作原理 ：在每层注意力机制中加入 LoRA 层，仅训练少量低秩参数，提升生成图像的质量和细节表现。 2. 主要方法 信息提取 ： StoryMaker 使用面部识别模型（如 ArcFace）从参考图像中提取面部特征，同时使用 CLIP 图像编码器提取角色的服装、发型和身体信息。提取的面部和角色特征分别被传递给两个独立的 Resampler 模块进行处理，以确保每个角色的不同特征得到有效提取。 参考信息的精炼与融合 ： 提取的面部和角色特征通过 PPR 模块进行融合，结合位置信息嵌入来区分不同的角色。此过程还引入了可学习的背景嵌入，以保证角色与背景之间的分离。在多角色场景下，这个模块有效防止角色之间以及角色与背景之间的特征混淆。 解耦的交叉注意力 ： 利用解耦的交叉注意力机制，StoryMaker 能够将提取的图像信息与文本提示进行融合。通过双重注意力机制，将面部特征与角色特征分别嵌入到文本-图像生成模型中，确保生成的图像不仅保留角色的面部一致性，还能保持服装和发型等其他特征的一致性。 姿势解耦 ： 在训练过程中，StoryMaker 使用 Pose-ControlNet 对生成图像的角色姿势进行控制。通过对参考图像的姿势进行解耦，StoryMaker 能够通过文本提示生成不同姿势的角色图像，也可以在推理时输入新的姿势以控制生成图像的角色动态。 训练过程中的损失约束 ： 为了防止角色之间和角色与背景之间的相互干扰，StoryMaker 使用分割掩码对交叉注意力区域进行约束，计算交叉注意力软性值与分割掩码之间的均方误差（MSE）损失。这个设计帮助 StoryMaker 实现了角色与背景的有效分离。 总体损失函数 ： 最终的损失函数结合了扩散损失和交叉注意力的损失约束，以确保生成的图像既保持高质量，又能够在多个角色和背景之间保持一致性和独立性。 实验结果 定量评估 在多个基准测试中，StoryMaker 在图像一致性方面表现优异，特别是在面部、服装和身体特征的一致性上。相比其他模型，StoryMaker 在以下方面表现突出： CLIP-I（图像一致性） ：StoryMaker 的整体图像一致性得分最高，能够同时保持面部、发型和服装的一致性。 面部相似度 ：虽然 InstantID 在面部相似度上略高，但 StoryMaker 是唯一一个在多角色场景中同时保持多角色身份、服装和发型一致的模型。 CLIP-T（文本一致性） ：由于注重角色一致性，StoryMaker 在文本提示的一致性上略有下降，但仍然能够生成与文本相关的高质量图像。 定性评估 单角色生成 ：在单角色生成任务中，StoryMaker 保持了面部和服装的一致性，表现优于 IP-Adapter-FaceID 和 InstantID ，后者虽然在面部一致性上表现良好，但在服装一致性上较弱。 多角色生成 ：在多角色生成任务中，StoryMaker 通过独立的特征嵌入，能够保持多个角色在面部、服装和发型上的一致性。此外，StoryMaker 可以生成多种姿势，并根据文本提示调整背景和风格。 两个肖像合成

应用场景 StoryMaker 展现了广泛的应用前景，特别是在个性化图像生成、故事叙述和数字创作中。 多样化应用

以下是 StoryMaker 的几种典型应用： 个性化故事生成 应用 ：根据参考图像生成一系列具有一致角色的图像，用于叙述一个完整的故事。通过文本提示控制背景、姿势和场景变化。 实例 ：生成一个描述 "办公室职员的一天" 的五幅图像故事，其中角色的姿势和背景根据文本提示变化，但角色的面部、服装和发型保持一致。 服装交换 应用 ：通过替换角色的服装图像，生成不同服装风格的图像，同时保持角色的面部和身体一致性。 实例 ：将角色的衣服替换为其他服装图像，生成一个角色穿着不同衣服的系列图像。 角色插值 应用 ：在两个角色之间进行特征插值，生成融合两个角色特征的图像。 实例 ：通过在两个人物之间插值，生成具有混合特征的新角色图像，保持面部和服装的自然过渡。 多模态插件集成 应用 ：StoryMaker 作为一个插件模块，可以与 LoRA 或 ControlNet 等工具结合使用，生成更多样化和个性化的图像，同时保持角色一致性。 实例 ：通过结合 LoRA 实现不同风格的图像生成，并保持角色的一致性。 GitHub： https://github.com/RedAIGC/StoryMaker 模型下载： https://huggingface.co/RED-AIGC/StoryMaker 技术报告： https://arxiv.org/pdf/2409.12576