UniPortrait：在单人和多人场景中保持身份一致并进行风格转换和自由编辑

UniPortrait 是一个用于人像图像个性化的统一框架，专注于在单人和多人场景中保持身份一致性的同时，提供高度可编辑的图像生成。该框架由阿里巴巴集团的研究团队开发。

它能够：

单人和多人图像个性化 ：统一处理单人和多人图像的个性化生成，确保在复杂场景中的身份一致性。 高保真度的身份保持 ：在生成图像时，能够准确地保持参考图像中的面部特征和身份信息。 广泛的面部可编辑性 ：允许用户根据文本描述对图像进行灵活编辑和定制，而不会丢失原始身份特征。 自由形式的输入描述 ：支持使用多样化的文本提示，无需预先设定布局或格式限制。 主要特点： 高保真度： UniPortrait 画出来的人物肖像非常逼真，能够清晰地展现出每个人的独特面部细节。 可编辑性强： 你可以根据自己的喜好，对 UniPortrait 画出来的人物肖像进行修改，比如改变发型、表情等等，UniPortrait 都能很好地满足你的需求。 自由创作： 你可以尽情发挥你的想象力，用文字描述你想要 UniPortrait 画什么样的人物肖像，UniPortrait 会尽力理解你的意思，并将其转化为生动的画面。 UniPortrait 解决了什么问题？ UniPortrait 主要解决了以下几个问题：

身份保持的挑战 ：

传统的图像个性化方法在生成新图像时，往往难以精确保持原始参考图像的面部形状和纹理细节。这些方法通常要么丢失空间信息，要么无法专注于面部领域，导致生成的图像身份一致性较差。 UniPortrait通过引入创新的ID嵌入模块和解耦策略，能够在保持面部形状和纹理细节的同时，灵活地编辑和生成高保真度的个性化图像。 身份混合问题 ：

在多人图像生成中，传统方法容易出现身份混合的现象，即同一个生成的面孔可能同时包含多个身份特征。这会导致生成图像中身份的模糊和不一致。 UniPortrait通过其ID路由模块，采用自适应的身份分配策略，确保每个面部区域只接收到特定的身份信息，从而避免身份混合，提升图像的身份保真度。 生成图像的布局和提示限制 ：

许多现有方法要求用户在输入提示时必须遵循特定的格式，并且往往需要预先设定生成图像的布局，这限制了用户的创作自由。 UniPortrait支持自由形式的文本描述输入，打破了这种限制，允许更灵活和多样化的图像生成。 主要功能 单人和多人图像个性化生成 ： 单人图像个性化 ： UniPortrait能够对单人图像进行个性化生成，确保生成的图像与参考图像中的面部身份信息高度一致。它在保持面部细节（如形状和纹理）的同时，支持对图像进行广泛的编辑。这使得用户能够根据文本描述生成具有特定风格、表情或背景的个性化人像图像。比如，你可以上传一张你的照片，然后通过文本描述生成一张穿着不同衣服或者在不同场景下的照片，但这个人仍然是你。 多人图像个性化： UniPortrait不仅能够处理单人图像，还能在多人场景中进行个性化图像生成。在这种情况下，UniPortrait能够确保每个面部区域只接收对应的身份信息，避免多个身份在同一面孔上的混合问题。这使得用户可以生成包含多个个性化人物的图像，且每个人物的身份都能得到准确的保持和区分。比如你可以上传几张朋友的照片，然后生成一张大家一起在不同背景下的合照，每个人的脸部特征都能准确保留，不会混淆。 高保真身份保持： 身份嵌入模块 ： 该模块通过解耦策略提取可编辑的高保真面部特征，并将这些特征嵌入到扩散模型的上下文空间中。它能够捕捉到详细的面部结构信息，同时保持对面部身份的编辑能力。 通过引入创新的ID嵌入模块，UniPortrait能够高度保留面部特征，包括脸型、皮肤纹理等等关键细节，从而生成与原始身份高度一致的图像。这对于生成需要保持真实感的人像图像（如个人照片、肖像画）尤为重要。 多参考图像融合： UniPortrait支持从多张参考图像中提取身份特征并进行融合，以生成更具代表性和高保真度的个性化图像。这在处理需要综合多个角度或表情的身份时特别有用。也就是你可以上传多张同一个人的照片，UniPortrait会综合这些照片的特点，生成更加精确和真实的个性化照片。 高保真度与可编辑性 ： UniPortrait通过其独特的架构和训练方法，能够在保持面部身份真实性的同时，提供丰富的面部编辑能力，如面部表情、姿势等的修改。 自由编辑： UniPortrait支持自由形式的文本输入，用户可以通过描述性文本自由定义生成图像的内容、风格和布局，而无需遵循特定的格式或预设。这一功能极大地提升了用户的创作自由度和图像生成的多样性。 面部可编辑性： UniPortrait允许用户通过文本提示对图像中的人物面部进行多种编辑，如改变表情、添加配件、调整年龄等。尽管进行了这些编辑，系统仍然能够保持人物的身份特征不变，这为个性化图像生成提供了极大的灵活性。 身份渐变： UniPortrait支持在不同身份之间进行插值操作，通过线性插值生成从一个身份逐渐过渡到另一个身份的图像。这对于生成具有多身份特征的合成图像或探索身份特征的渐变效果非常有帮助。你可以通过UniPortrait在两个人物之间进行渐变操作，比如生成一个过渡照片，这张照片既有你也有朋友的特征，非常有趣。 多样化布局： UniPortrait可以根据你的描述生成不同布局的照片，不管你想要单人还是多人照片，都可以满足，而且生成的照片布局和内容都很丰富。 与现有生成控制工具的兼容性 ： UniPortrait具有良好的扩展性，可以与现有的生成控制工具如ControlNet和IP-Adapter兼容，这使得其在生成可控的个性化图像时具有更大的灵活性。让你更精确地控制照片中的细节，比如调整人物的姿势或者背景等。 多种应用场景 ： UniPortrait不仅可以生成高保真的个性化人像，还可以用于面部特征的修改、身份插值（在多个身份之间进行平滑过渡）、以及多身份图像的风格化生成等多种场景。 文本到单一 ID 个性化示例

文本到多身份个性化示例

技术方法 UniPortrait以Stable Diffusion为基础模型，通过扩散过程生成高质量图像。扩散模型结合了自动编码器、CLIP文本编码器和U-Net架构，能够根据输入文本提示生成对应图像。 UniPortrait主要依靠两个“秘密武器”： 身份嵌入模块：捕捉人物的身份信息： 这个模块就像 UniPortrait 的“眼睛”，它会仔细观察你提供的照片，提取出其中人物最重要的面部特征，包括脸型、五官比例、皮肤纹理等等，然后把这些信息转化成一种特殊的代码，称为 身份嵌入 。 与其他 AI 画家不同的是，UniPortrait 的“眼睛”更敏锐，它不仅关注人物最显著的特征，还会关注那些细微的差别，比如脸上的痣、细纹等等，从而更准确地记住每个人的样貌。 身份路由模块：将正确的人物放到正确的位置： 当 UniPortrait 需要画多人肖像时，这个模块就像一个“指挥家”，它会根据你的指示（也就是你输入的文字描述），将每个人物对应的身份嵌入代码“分配”到画面中正确的位置，确保每个人都出现在你想要的地方，而且不会被混淆。 1、身份嵌入模块 (ID Embedding Module) UniPortrait的第一个重要步骤是从参考照片中提取出人物的脸部特征。它不像传统方法那样只使用最终的图像特征，而是使用中间步骤提取的细节更多的特征。这样做是为了更好地保留脸部的形状和纹理，让生成的图像看起来更像参考照片中的人。

这是UniPortrait的核心模块之一，用于提取和嵌入面部特征，以确保生成的图像与参考图像中的身份保持一致。

解耦策略 ：UniPortrait使用解耦策略将面部身份特征与面部结构特征分离，避免身份相关信息与面部其他属性（如表情、姿势、光照等）混合。这通过两个步骤实现： 本征ID特征 (Intrinsic ID Features) ：从人脸识别网络的倒数第二层提取，包含身份相关的空间信息，但不敏感于面部表情、姿势等变化。 面部结构特征 (Face Structure Features) ：从CLIP图像编码器和人脸识别网络的浅层特征中提取，捕捉面部的结构和纹理信息，以增强面部相似性。 DropToken与DropPath正则化 ：为了防止模型过度拟合于面部结构特征中可能包含的身份无关信息（如光照、姿势等），在面部结构分支中引入了DropToken和DropPath正则化。这种方法迫使模型更多地依赖于本征ID特征，从而实现ID相似性和面部可编辑性之间的平衡。 2、 身份路由模块 (ID Routing Module)

当生成包含多个人物的照片时，通常会有一个问题：不同人的脸部特征可能会混在一起。为了避免这种情况，UniPortrait使用了一个“路由”技术，确保每个人的脸部特征不会混淆。它就像是给每个人的脸都分配一个唯一的“身份标签”，确保生成的图像中每个人的脸都能保持他们自己的特征，而不会混淆其他人。

这个模块主要用于多人的图像生成，解决多人图像中身份混合的问题。

身份分配 ：在生成图像的过程中，UniPortrait通过一个路由网络，确保每个面部区域只接收到一个身份信息。这意味着每个人的脸都不会混淆其他人的特征，从而避免了多ID融合的情况。 路由机制 ：这个机制通过在潜在空间中的每个位置计算并分配最匹配的身份特征来完成。这一过程在每个空间位置上进行，使得每个面部区域都能精确地匹配到对应的身份信息。 3、 两阶段训练 (Two-Stage Training)

UniPortrait的训练过程分为两个主要阶段：

单人ID训练阶段 ：在这个阶段，模型主要学习如何在单人图像中嵌入和保持身份特征。这一阶段的目标是确保模型能够生成高保真度的个性化图像，同时保持一定的可编辑性。 多ID微调阶段 ：在这个阶段，系统引入了ID路由模块，专门学习如何在多ID图像中进行身份分配和管理。这个阶段通过增加路由正则化损失，确保每个身份只对应一个面部区域，避免身份混合。 4、 正则化技术 (Regularization Techniques)

为了让生成的图像更稳定且不容易出错，UniPortrait采用了一些技术手段，比如在生成图像时，随机去掉一些容易受到干扰的细节，这样可以避免模型过度依赖某些特定的细节，确保生成的图像更真实。

UniPortrait采用了几种正则化方法来提高模型的性能和稳定性：

DropToken 和 DropPath ：这些技术用于面部结构特征的分支上，确保模型不会过度依赖容易引入噪声的特征，从而增强身份保持和图像编辑的平衡。 路由正则化损失 (Routing Regularization Loss) ：在多ID生成中，这一损失确保每个身份特征只能被分配到一个面部区域，进一步减少身份混合的风险。 应用场景 在实验中，UniPortrait展示了其在单ID和多ID个性化任务中的优越性能。与其他方法（如FastComposer和InstantID）相比，UniPortrait在身份保持、提示一致性和图像多样性等方面表现更好。 UniPortrait可以应用于多个领域，提供多样化的图像个性化生成功能。以下是一些主要的应用场景： 1. 个性化人像生成 比如，你可以上传一张自己的照片，使用UniPortrait生成具有不同风格的头像，这些头像可以用于社交媒体、游戏角色或虚拟形象。无论是卡通风格、油画风格，还是其他创意风格，UniPortrait都可以保持你的身份特征，同时赋予不同的艺术效果。 AI头像生成 ：用户可以通过文本描述生成定制化的AI头像，这些头像在保持身份一致性的同时，可以展现不同的风格、表情和姿势。 虚拟化身和角色创建 ：可以用于创建虚拟化身，特别是在游戏、虚拟社交平台或元宇宙等应用中，生成符合用户身份特征的虚拟角色。 2. 人像编辑 面部属性修改 ：可以根据用户的要求，对面部的特定属性进行编辑，如修改年龄、性别、表情、发型等，从而生成符合特定需求的个性化人像。 面部风格转换 ：UniPortrait能够通过输入文本或图像样本，将面部转换为不同的艺术风格，如卡通风格、油画风格等，适用于创意设计和艺术创作。 3. 多身份图像生成 多人物场景构建 ：可以生成包含多个身份的场景图像，如家庭聚会、群体活动等，满足影视、广告、社交媒体内容创作的需求。 群体定制化生成 ：在教育或企业中，可以为一组人生成定制化的群体图像，用于宣传材料、团队展示等。 数字化遗产保存： UniPortrait可以用来生成家族照片的数字化版本，特别是那些已故亲人的照片。通过将老照片或不同年代的照片数字化，UniPortrait可以生成高保真度的图像，帮助家庭保存珍贵的记忆，并且可以在不同场景中重新创作这些图像。 4. 身份插值 身份混合与过渡 ：通过在不同身份之间进行插值，可以生成身份特征逐渐过渡的图像。这在艺术创作、角色动画制作中有着广泛的应用前景。 跨年龄和性别的身份转换： UniPortrait支持身份特征的插值和转换，可以生成跨年龄段或性别的图像。例如，可以生成你在不同年龄阶段的照片，或者探索性别转换后的样貌，这些功能在娱乐、研究甚至心理治疗领域都有应用价值。 5. 故事情节生成 多场景故事创作 ：通过与文本提示的结合，UniPortrait可以生成具有连贯性和一致性的人物形象的多场景故事图像，这在漫画、儿童书籍插图、电影分镜等领域有着巨大的潜力。 情感表达与叙事 ：通过调整面部表情和姿势，生成能够表达不同情感的图像，适用于情感计算和心理学研究。 6. 虚拟试穿和形象定制 通过UniPortrait，用户可以试验不同的服装和配饰，而不需要实际穿戴。例如，你可以上传一张自己的照片，然后通过文本描述生成你穿戴不同衣服、帽子或眼镜的效果图。这在电商平台上尤其有用，帮助用户更好地选择适合自己的商品。 虚拟试穿 ：在电子商务和时尚领域，UniPortrait可以用于虚拟试穿应用，生成用户穿戴不同服饰、配饰的形象，帮助用户做出购买决策。 形象设计与咨询 ：为用户提供个性化的形象设计建议，生成符合用户气质和需求的发型、妆容等形象设计图。 7. 内容创作与广告 广告创意 ：广告公司可以利用UniPortrait生成符合品牌形象的定制化人物形象，用于广告海报、社交媒体宣传等内容。 社交媒体内容创作 ：内容创作者可以利用UniPortrait生成独特的个性化图像，增加其社交媒体内容的吸引力和互动性。 8. 教育与研究 面部识别研究 ：UniPortrait的生成能力可以用于面部识别算法的测试和验证，生成具有高保真度的不同身份图像数据集。 心理学与行为研究 ：通过生成不同面部表情和姿势的图像，研究者可以在心理学和行为学实验中使用这些图像来研究人类的情感反应和社交行为。 项目地址： https://aigcdesigngroup.github.io/UniPortrait-Page/ GitHub： https://github.com/junjiehe96/UniPortrait 论文： https://arxiv.org/pdf/2408.05939 在线演示： https://huggingface.co/spaces/Junjie96/UniPortrait