AutoStudio：无论用户在对话中添加或修改什么内容都能保持图像生成一致性

AutoStudio是一个用于多轮交互图像生成的多代理框架，能够让你多次互动中生成连贯一致的多主体图像。它不需要额外的训练，并且通过多种智能代理的协同工作，处理用户的复杂指令和生成高质量的图像。 多轮交互图像生成指的是用户与系统通过多次对话或互动来逐步生成图像的过程。在每一轮对话中，用户可以提供新的指令或修改前一轮的指令，系统根据这些指令不断调整和生成图像。 这种情况下，一般的图像生成系统都不能很好的遵循用户的意图，容易偏离主题或者错误理解用户的意图，不能保持整个主题的图像风格、人物、对象的一致性。 AutoStudio 生成的两本漫画书

AutoStudio解决了什么问题？ AutoStudio解决了当前图像生成技术在多次用户交互中难以保持主体一致性的问题。具体来说： 多次对话生成图像的一致性问题 ： 在多次交互中，用户可能会频繁更换或调整主题，现有方法难以保持图像中主体的一致性。 现有的图像生成技术在生成单张图像时表现很好，但在多次对话中生成连续图像时容易出现前后不一致的问题。例如，用户可能希望在每次对话中添加或修改图像中的某些元素，但这些变化可能会导致图像中的人物或场景不一致。AutoStudio 通过专门设计的智能体解决了这个问题，确保每次生成的图像都能保持一致性。 多人物场景生成问题 ： 现有的方法在生成多主体图像时，难以在保持主体一致性的同时生成多样且符合用户需求的图像。 生成包含多个人物或物体的图像时，现有技术很难同时保持每个元素的一致性和多样性。AutoStudio 使用多个智能体分别管理不同的元素，确保每个元素在多次对话中都能保持一致，同时还能生成多样化的图像。 布局和细节控制问题 ： 要在图像中准确地安排每个元素的位置和大小，生成合理的布局是一个挑战。AutoStudio 通过布局生成器和监督器来生成精确的布局和控制细节，确保图像中的每个元素都能合理地排列和展示。 实时交互 ：现有的方法通常需要预先定义所有的生成步骤，而无法灵活应对用户的即时调整和修改需求。 AutoStudio 的解决方案 AutoStudio通过多个智能代理的协同工作，实现多轮交互图像生成。 1. 多智能体协作框架 AutoStudio 使用四个智能体来处理图像生成的各个环节： 主题管理器（Subject Manager） ：理解用户的对话内容，识别和管理图像中的元素（如人物、物体等）并赋予它们上下文信息。 布局生成器（Layout Generator） ：生成控制每个图像元素位置和大小的布局，确保各元素在图像中的合理排布。 监督器（Supervisor） ：检查并改进布局，提供布局优化建议，确保最终布局合理。 绘图者（Drawer） ：根据改进后的布局生成高质量的图像。 2. 并行-UNet架构（Parallel-UNet Architecture） 并行处理文字和图像信息，更好地理解每个元素的细节和位置，生成更加一致和高质量的图像。 双并行交叉注意力模块 ：并行处理文本和图像特征，将它们结合起来以增强图像中每个元素的细节。通过这种方法，AutoStudio 能够更好地理解和保持图像元素之间的关系，提高生成图像的质量和一致性。 3. 主体初始化生成方法（Subject-initialized Generation Method） 先生成单个元素 ：先生成每个独立的人物或物体，再把它们组合到一起。这避免了在生成过程中丢失细节或出现错误。 扩散反转技术 ：使用稳定扩散模型的扩散反转过程生成单个元素的潜在特征图，并将这些特征图合成到最终图像中。这种方法有助于保持小元素的细节和一致性。 4. 精细布局控制 细粒度边界框生成 ：布局生成器生成精细的边界框来控制每个图像元素的位置和大小，确保布局合理。 布局优化 ：监督器提供布局优化建议，通过闭环反馈不断改进布局，确保各元素之间的空间关系和相对位置合理。 5. 多轮对话支持 链式思考提示（Chain-of-thought prompting） ：通过记录和分析多轮对话中的历史信息，确保每次生成的图像能够参考前面的生成结果，保持多轮对话的一致性。 任务指令集（Task Instruction Set） ：为每个智能体提供专门设计的任务指令，确保它们能够按预期完成各自的任务。 AutoStudio能实现哪些效果 1. 多主体一致性： AutoStudio 能够根据用户的多轮对话生成一系列连贯的图像。无论用户在每轮对话中添加或修改什么内容，系统都能确保生成的图像在主题和风格上保持一致。例如，在连续生成的图像中，保证同一个人物在不同场景中的外貌和姿态一致。 2. 复杂场景生成： 通过精确的布局生成和优化，AutoStudio能够生成包含多个主体和复杂交互的图像，可以处理复杂的场景描述，生成包含多个细节和元素的图像。。例如，一个图像可以包含多个人物在不同位置进行互动，系统能够保证这些互动合理自然。 3. 高质量图像生成： AutoStudio使用稳定扩散模型和并行UNet架构，生成的图像具有高分辨率和丰富的细节。例如，人物的面部表情、服装细节和环境背景都能高度逼真。 4. 实时交互和编辑： 用户可以在多轮对话中动态地编辑图像。用户可以在生成过程中随时提供新的指令或修改已有指令，系统能够实时响应并生成更新后的图像。例如，用户可以先生成一个场景，然后在后续对话中添加或修改场景中的元素，AutoStudio 会根据新的指令更新图像。 5. 多样化图像生成： 通过多轮交互，用户可以生成多样化的图像序列，用于创建故事或漫画。例如，用户可以逐步生成一个连贯的故事情节，每一帧图像都符合故事的发展。 6.多主体互动： 在同一幅图像中，AutoStudio 可以生成多个人物或物体，并确保它们之间的关系和互动自然合理。例如，用户可以描述一个场景，其中两个角色在互动，系统会生成这两个角色在互动的图像。 7.精细布局控制： AutoStudio 能够精确控制每个元素在图像中的位置和大小，生成布局合理的图像。用户可以描述元素的相对位置和大小，系统会根据这些描述生成符合预期的图像。 示例效果 AutoStudio 的实验结果 AutoStudio 在实验中展示了其在多轮互动图像生成方面的优越性能，具体表现如下： 1. 定量评估结果 在公有基准 CMIGBench 上进行的实验结果显示，AutoStudio 在多个指标上均优于现有的方法： 平均弗雷歇特嵌入距离 (aFID) ：衡量生成图像质量的指标，数值越低越好。AutoStudio 在这一指标上表现显著优于其他方法，意味着它生成的图像质量更高。 平均角色相似度 (aCCS) ：衡量多轮生成图像中角色一致性的指标，数值越高越好。AutoStudio 在这一指标上的提高表明它在多轮互动中能够更好地保持角色的一致性。 平均文本图像相似度 (aTIS) ：衡量生成图像与文本描述的语义一致性，数值越高越好。AutoStudio 在这一指标上也表现优异，说明它生成的图像能够更准确地反映文本描述的内容。 2. 定性评估结果 通过视觉对比实验，AutoStudio 展示了其生成图像在一致性和细节处理方面的优势： 多轮互动生成 ：AutoStudio 能够在多轮对话中生成一致且连贯的图像，处理复杂的场景描述和多角色互动，生成的图像在视觉效果上更加自然和谐。 细节处理 ：AutoStudio 能够精确处理图像中的细节，例如角色的姿势、表情和背景元素，使得生成的图像在细节上更加丰富和逼真。 3. 人类评估结果 通过对20名志愿者进行的人类评估，AutoStudio 在以下四个关键指标上均表现优于其他方法： 主体一致性 ：评估生成图像中角色的一致性，AutoStudio 得分最高，表明它在多轮互动中能够更好地保持角色的一致性。 主体互动 ：评估生成图像中角色之间的互动效果，AutoStudio 得分最高，说明它生成的角色互动更自然。 语义一致性 ：评估生成图像与文本描述的一致性，AutoStudio 得分最高，表明它生成的图像能够更准确地反映文本描述的内容。 总体质量 ：综合评估生成图像的整体质量，AutoStudio 得分最高，表明它在图像生成的各个方面都表现出色。 项目及演示： https://howe183.github.io/AutoStudio.io/ 论文： https://arxiv.org/pdf/2406.01388 GitHub： https://github.com/donahowe/AutoStudio

Menu

分类目录

AutoStudio：无论用户在对话中添加或修改什么内容都能保持图像生成一致性

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Coconut：连续思维链一种新的大语言模型推理方法直接在内部思考

Google：个人健康大语言模型和智能体研究利用可穿戴设备数据进行健康监测

APIGen：生成多样化且可靠的函数调用数据，通过语言指令即可执行功能性API调用

如何使用Midjourney v6 创建自己的服装品牌

GenWarp：只需一张图像即可生成该图像不同视角的新图像

Udio 进行重大升级大幅提升音乐音质和控制同时优化了中文语言支持

装备AI瞄准步枪的机器狗接受了美国海军陆战队特种作战评估

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

通过Midjourney的角色的一致性功能来制作产品海报的方法

OpenAI 衍生公司人工智能模型，让机器人像人类一样学习任务

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

AutoStudio：无论用户在对话中添加或修改什么内容 都能保持图像生成一致性

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

AutoStudio：无论用户在对话中添加或修改什么内容都能保持图像生成一致性