PuLID：通过一张参考照片使用文本描述快速更改图像中人物的外貌和身份特征

PuLID （ Pure and Lightning ID Customization via Contrastive Alignment ）是一种专为 文本生成图像模型（Text-to-Image, T2I）设计的无调优身份（ID）自定义方法。其主要目标是在生成个性化图像时，保持高ID相似度的同时，尽量减少对模型原有行为的干扰。 也就是通过提供一张参考照片，并结合文本描述，能够快速更改图像中人物的外貌和身份特征，同时保持图像的风格和质量不变。 简单来说就是，你可以通过提供 参考照片 来输入人物的外貌特征（如脸型、发型等），同时结合 文本描述 快速生成带有这些特征的图像。 PuLID还允许你通过输入文本提示，灵活更改图像中人物的外貌和身份特征（如性别、年龄、发型、配饰等），并且保持图像的整体风格一致。这些提示可以是关于人物的表情、姿势、装饰品等。例如，你可以输入以下提示：

“微笑的脸” ：让图像中的人物微笑。 “戴着眼镜” ：为人物添加眼镜。 “卷发” ：改变人物的发型。 “穿着帽子和西装” ：修改人物的穿着和配饰。 PuLID会根据这些文本提示，快速调整图像中的人物身份特征，同时保持其整体风格和背景不变。

与传统方法不同，PuLID不需要每次为不同的人物单独训练模型，这使得它更加快捷和高效。 PuLID解决了两个在AI生成图像中常见的问题，特别是在把特定人物的头像或身份信息融入生成图像时：

1. ID插入会破坏原图的风格

当我们把某个人的面部特征或身份信息（比如发型、脸型等）加到AI生成的图像里，通常会导致图像的其他部分（如背景、光照、风格等）发生不必要的变化。比如，你想要一个特定风格的图像，只是想把某个人的脸加进去，但生成的结果可能把整个图像的风格都改掉了。

PuLID怎么解决的 ： PuLID通过一种特殊的处理方式，确保只修改图像中的与身份相关的部分，比如脸和发型，而背景、光照、风格等保持不变。这样，你就能得到一个带有特定人物特征的图像，但原来的风格不会被破坏。

2. 身份定制不够精确

另外，很多现有方法虽然能生成带有特定人物面部特征的图像，但这些特征不够精确，或者在修改面部表情、发型等细节时，生成的效果很差。比如，你想让一个人的头像微笑，但生成的图像可能无法准确反映这些细微变化。

PuLID怎么解决的 ： PuLID通过更精准的技术来处理面部特征，确保生成的图像能保留人物的细节，同时还能根据你的指示，灵活修改表情、姿势、配饰等。这样，你不仅能得到一个高相似度的头像，还能根据需要做更多调整。

[video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/09/9月15日-1-1.mp4" preload="auto"][/video] PuLID的特点： 无需重新训练 ：传统的方法生成带有特定人物的图像时，需要对模型进行单独的训练，非常耗时。PuLID通过一种聪明的方式插入人物信息，省去了重新训练的麻烦。

保持风格一致 ：PuLID不仅能够插入人物的外貌特征，还能保持生成的图像整体风格不变，比如背景、光照、图像的构图等。这意味着即使插入不同的ID，图像的整体感觉依旧与原模型生成的图像风格一致。

高人物相似度 ：PuLID通过一种对比方法，确保生成的图像中人物特征和原人物高度相似，能准确反映特定人物的样子，比如他们的面部细节、发型等。

简单应用场景：

个性化头像生成 ：你可以输入某个人物的特点，并描述想要的图片风格（如“漫画风格”或“肖像画风格”），PuLID就能生成既有这个人物外貌，又符合风格要求的图像。假设你有一张自己的照片，想让它看起来更加独特，或者想给它添加一些特别的风格。通过 PuLID，你可以将这张照片上传到系统，它会根据你提供的要求（比如让照片看起来更像手绘风格，或者给照片增加科幻的感觉），自动生成一张全新的、个性化的图片。这张图片会和原始照片很像，但有你希望的那种定制化风格，类似于为你专门设计的专属头像。 角色定制 ：比如在游戏或者虚拟世界中，你可以用PuLID生成不同的角色形象，并且保持每个角色的个性化特点。比如，你是一位游戏开发者，想要为你的游戏角色生成一系列独特的头像，PuLID 可以快速帮你生成各种风格的角色头像，不需要你手动去一一设计。这不仅节省了时间，还能让每个角色的头像有独特的个性。 [video width="2560" height="854" mp4="https://img.xiaohu.ai/2024/09/327073175-9bdd0c8a-99e8-4eab-ab9e-39bf796cc6b8.mp4" loop="true" autoplay="true" preload="auto"][/video] PuLID 的主要功能： 能够精确插入人物的面部特征到AI生成的图像中。 保持图像的背景、光照、风格不变。 提供高精度的身份定制，能保留细致的面部细节。 支持通过文字命令灵活编辑图像中的人物特征。 快速生成高质量图像，省时高效。 适用于多种风格和应用场景，可以轻松实现风格转换或多身份融合 1. 身份（ID）定制 PuLID 允许用户将特定人物的身份信息（比如脸部特征）融入到生成的图像中。无论你是想把自己的头像、朋友的头像，还是某个名人的头像加到AI生成的图像里，PuLID都可以做到。 简单来说 ：它能根据你提供的图片，将人物的脸或其他身份特征融入到生成的图像中。 2. 保持图像风格一致 当我们把一个人的面部特征插入到生成的图像中时，通常会遇到一个问题：图像的背景、光线、风格等也可能会被改变。而 PuLID 则能确保只修改人物的身份特征，其他部分（如背景、光照、构图、整体风格）保持不变。 简单来说 ：它只改变你需要的部分，而其他图像元素保持与原模型一致。比如脸，而不会影响整个图像的风格和氛围。 3. 身份信息的高保真度 在生成图像时，PuLID 可以非常准确地保留人物的细节，比如脸型、发型、肤色等。即使是细微的面部特征，也能在生成图像中得到精确体现，保证人物与真实的样子非常相似。 简单来说 ：生成的图像看起来就像你想要插入的那个真人，而不是一个模糊或不准确的版本。 以下结果是使用 PuLID-FLUX 生成的

4. 灵活的编辑功能 PuLID不仅支持自定义ID，还支持根据提示编辑生成图像中的人物特征。用户可以通过简单的文本描述来修改人物的属性，例如改变人物的姿势、性别、年龄、表情或添加配饰（如帽子、眼镜等）。 你可以通过文字描述来灵活调整图像中的人物特征。比如，你可以告诉它让人物微笑，戴上帽子，改变发型，或者让人物朝不同的方向看。你可以根据自己的需求，对图像中的身份进行多样化的修改。 简单来说 ：你可以通过简单的文本指令，对图像中的人物进行个性化调整，不仅能插入头像，还能改变他们的表情、姿势和装饰品。 5. 快速生成图像 传统的身份定制方法通常需要很长时间进行模型的调试或训练，而 PuLID 的一个亮点是它不需要复杂的调优过程。通过快速的 Lightning T2I 分支，PuLID 能够在较短的时间内生成高质量的图像。这让它在实际应用中更加高效，不必长时间等待结果。 简单来说 ：它生成图像的速度快，不用等很久就能看到结果。 6. 多种应用场景支持 PuLID不仅可以生成特定ID的图像，还能适应不同的风格需求和场景。例如，它支持将图像从现实主义风格转变为卡通风格，或将多个身份的特征融合成一个新角色。此外，PuLID还能处理角色的重构与编辑任务，例如改变角色的衣着、场景背景等。 无论你想要一个真实感很强的肖像，还是一个充满艺术感的图片，PuLID 都可以胜任。 简单来说 ：它适用于多种风格的图像，从写实到艺术风格都可以生成。 7. ID混合与跨风格转换 PuLID 还能将多个身份信息融合到一个图像中，或者将人物的身份特征从一种风格（比如卡通风格）转换为另一种风格（比如写实风格）。这使得它在多种创意场景中都有很好的应用。 简单来说 ：你可以把两个人的特征融合在一起，或者把卡通版的你转换成写实版，操作灵活且多样。 8.无需重新训练模型 功能 ：PuLID的无调优特性使得用户可以直接生成带有特定身份的图像，而无需为每个身份单独进行模型微调。传统的ID自定义方法通常需要花费大量时间和计算资源来重新训练模型，才能嵌入新的人物特征，而PuLID通过预训练的模型，能够快速高效地完成这一任务。 作用 ：用户可以节省时间和计算资源，特别是在需要快速生成大量不同ID图像时，PuLID的优势更加明显。它使得个性化生成变得更加高效和便捷。 优势 ：这一功能尤其适合需要大批量生成个性化图像的场景，如头像生成、虚拟角色设计等。 技术方法： PuLID通过多个创新模块实现了高效、精确的身份定制：

Lightning T2I分支 ：快速生成图像，不干扰原模型行为。 对比对齐损失 ：确保ID插入后只改动相关部分，保持图像的整体一致性。 精确ID损失 ：提高生成图像中的身份保真度。 多阶段训练 ：逐步优化模型的生成能力和定制能力。 1. Lightning T2I 分支 PuLID引入了一个名为“Lightning T2I”的分支，专门用于加速生成高质量图像，并解决ID插入时的模型行为干扰问题。这个分支能够从纯噪声中快速生成高质量的图像，通常只需4步即可完成。

工作原理 ：Lightning T2I分支通过先进的采样方法，在短时间内生成高质量的图像。在训练时，使用同一个初始噪声，分别生成带有ID插入的图像和不带ID的图像。通过对比这两条路径，模型学习如何只插入ID信息，而不改变图像的其他元素（如背景、光照等）。

目的 ：该分支确保ID插入后不影响生成图像的风格和细节，从而实现图像生成的一致性。

简单解释 ：这是一个快速生成图像的部分，帮助模型在短时间内生成出带有你身份特征的高质量图像，而且不会破坏图像的整体风格。

2. 对比对齐损失（Contrastive Alignment Loss） 在插入ID信息时，如何确保只改变面部等相关特征，而保持其他元素不变？为了解决这个问题，PuLID引入了对比对齐损失。

工作原理 ：在训练时，模型会生成两幅图像：一幅带有ID插入，另一幅没有ID插入。然后，模型通过对比两幅图像的特征，学习如何在不影响背景、照明等非ID部分的前提下，只对ID相关的部分进行调整。这种损失机制帮助模型在嵌入ID的同时，最大限度地减少对原始图像其他部分的干扰。

损失公式 ：对比对齐损失分为两个部分：

语义对齐损失 ：确保插入ID后，图像在语义上与未插入ID的图像保持一致。 布局对齐损失 ：确保图像布局不因ID插入而发生显著变化。 简单解释 ：这部分教会模型只改动需要修改的部分，比如脸部，而让其他不相关的部分（如背景、光照等）保持原样。

3. 精确的ID损失（Accurate ID Loss） 在PuLID中，ID保真度非常重要。为了确保生成图像中的人物身份尽可能精确，PuLID使用了精确的ID损失计算方法。

工作原理 ：在生成图像的过程中，PuLID会对插入了ID信息后的图像进行分析，计算生成图像与目标身份特征之间的相似度（ID损失）。这个过程依赖于面部识别技术，通过精确计算人物的面部特征，确保生成的图像与输入的身份信息高度一致。

优势 ：PuLID通过精确的ID损失计算，使得生成的图像在面部特征上与实际人物高度相似，避免了模糊或失真的现象。

简单解释 ：这部分是为了保证生成的脸能高度匹配你提供的头像，做到“认脸准确”。

4. ID嵌入与扩散模型结合 PuLID的ID定制依赖于扩散模型，这是一种逐步去噪的生成模型。为了确保ID信息能够有效嵌入到生成图像中，PuLID在扩散模型的多层次中引入了并行的跨注意力层，将ID特征通过这些层嵌入模型。

工作原理 ：在扩散模型的每一步中，ID特征通过跨注意力机制与图像特征结合，这样可以确保模型在去噪过程中，逐步融入ID相关的面部特征，直到生成完整的图像。 简单解释 ：这部分确保你的身份信息能够顺利嵌入到生成图像的每一个步骤中，让生成的脸更精确。

5. 多阶段训练流程 PuLID的训练过程分为多个阶段，以确保模型在不同的任务目标下逐步优化。

第一阶段 ：模型先接受常规的扩散训练，通过去噪过程学习如何生成高质量的图像。 第二阶段 ：加入ID损失，模型学习如何在生成图像中保持身份信息的准确性。在这一阶段，模型专注于提高ID的相似度。 第三阶段 ：加入对比对齐损失，进一步微调模型，确保插入ID后，图像的整体风格、背景等保持不变。 简单解释 ：模型先学会生成图像，再学会如何精确插入身份，最后学会在插入身份的同时保持图像其他部分不变。

实验结果 1. 定性对比（Qualitative Comparison） PuLID在生成图像时，通过与现有的两种SOTA（State of the Art）方法——InstantID 和 IPAdapter 进行对比，展示了其在图像保真度和风格保持方面的优势。

ID保真度更高 ：PuLID在生成图像时，能够更好地保留输入的身份特征，生成的人物形象在面部细节、发型等方面与输入ID非常接近，且准确度优于InstantID和IPAdapter。

风格保持一致性 ：在实验中，PuLID能够在保持图像原始风格的同时插入身份信息，如图像的背景、光线和整体构图等非ID相关部分几乎不受影响，而其他方法常常会在插入ID后导致风格变化或劣化。例如，PuLID在保持光照、布局和风格一致性上表现出色，确保了生成的图像具有较好的美感和一致性。

可编辑性强 ：PuLID允许用户通过文本提示修改图像中的身份特征，比如改变人物的朝向、表情或添加配饰等。实验结果显示，PuLID能够灵活响应这些提示，而其他方法在这方面表现较弱。

示例 ：实验展示了多个场景下的生成图像，包括改变风格（如卡通、纸艺风格）、调整人物姿态和细节（如戴帽子、改变朝向），PuLID在这些场景中均表现出色，图像清晰且细节丰富。

2. 定量对比（Quantitative Comparison） 在定量实验中，使用了ID余弦相似度（Cosine Similarity）来衡量生成图像与输入ID的相似度。实验通过两个不同的测试集（DivID-120 和 Unsplash-50）进行评估，并使用两种不同的模型基线（SDXL-Lightning 和 SDXL-base）进行比较。

ID相似度更高 ：PuLID在不同的测试集上均取得了最高的ID相似度分数，特别是在最大化ID相似度时，它的表现优于InstantID和IPAdapter。在所有的实验中，PuLID在DivID-120和Unsplash-50数据集上取得了非常高的ID余弦相似度，显示了它在保持身份信息方面的出色表现。

相比其他方法的提升 ：实验表明，PuLID即使在稍微牺牲一些ID相似度以保持图像风格的情况下，依然能够在大多数场景中超过现有的SOTA方法，展现了其在兼顾ID保真度和风格一致性方面的优势。

3. 更多应用场景展示 PuLID展示了其在多个不同应用场景中的效果，证明了其灵活性和多功能性：

风格变化 ：能够根据用户需求，将图像风格从写实风格切换到卡通、赛博朋克等多种风格。

IP融合 ：能够将不同的身份特征融合到同一图像中，或者从非写实风格转换为写实风格。

配饰修改 ：用户可以通过简单的提示语（如“戴眼镜”或“穿白色裙子”）为人物添加配饰或修改其着装，PuLID能够准确响应这些指令。

示例 ：实验结果展示了风格变换（如从赛博朋克风格到写实风格）、人物身份混合等多个场景，PuLID生成的图像保持了高度一致性和可编辑性。

4. 消融实验（Ablation Study） 为了验证PuLID的不同组件的贡献，进行了消融实验：

对齐损失（Alignment Loss）消融 ：实验结果表明，去掉对齐损失后，ID信息的嵌入会显著破坏图像的风格一致性，尤其是在修改图像布局时，人物面部特征可能过度占据图像区域，导致布局不合理。而加入对齐损失后，这种情况得到了显著改善。

ID损失消融 ：在ID损失的消融实验中，PuLID通过引入更精确的ID损失，在ID相似度上取得了更大的提升。相比于直接预测图像中的身份特征，采用Lightning T2I生成高质量图像再计算ID损失的方法，使得生成的ID特征更加准确。

5. 性能提升 实验表明，PuLID不仅在ID保真度和风格保持上取得了显著提升，还能在生成速度和图像质量上超越现有方法：

生成速度快 ：通过Lightning T2I分支，PuLID能够在仅需4步的情况下生成高质量图像，而不像传统方法需要更长的推理过程。这大大提升了生成效率。

兼容性强 ：在使用不同基线模型（SDXL-Lightning 和 SDXL-base）时，PuLID在各类场景下均表现稳定，尤其在搭配SDXL-Lightning时，能够生成更自然和美观的图像。

总结 实验结果表明，PuLID在多个方面都超越了现有的SOTA方法：

它能够生成具有高ID相似度的图像，同时保持原图的风格一致性； 它具备更强的可编辑性，能够灵活调整图像中的身份特征； 它在生成速度和效果上也更为高效和稳定，是一种非常实用的身份定制解决方案。 GitHub： https://github.com/ToTheBeginning/PuLID 论文： https://arxiv.org/pdf/2404.16022 在线演示： https://huggingface.co/spaces/yanze/PuLID