Follow-Your-Click：能够根据用户的点击和提示，使图像特定区域动起来

Follow-Your-Click是一个开放领域区域图像动画项目，该项目由来自香港科技大学（HKUST）、腾讯、清华大学的研究者共同开发。 Follow-Your-Click能够根据用户的点击和指示，实现对单个图像区域的动画制作。也就是指哪打哪，让图像的某一个部分按照你的指示动起来。支持多种动作表达，如头部调整、翅膀拍动、微笑、悲伤、起飞、漂移、跳舞、来回驾驶等。 解决的问题和方法： 传统的I2V方法在局部动画生成和用户控制方面存在限制。本文提出的“Follow-Your-Click”框架通过结合首帧遮罩策略、短动作指令增强模块和基于流的运动幅度控制，不仅提高了动画生成的质量，而且简化了用户交互，使得局部动画生成和精确控制成为可能。 主要功能： 局部动画生成： "Follow-Your-Click"框架可以通过用户的点击和简短动作提示生成局部图像动画。这意味着用户可以选择图像的特定区域并指定如何动画化这些区域（例如，让物体微笑、跳舞或飘动）。 多对象动画： 除了能够控制单个对象的动画，这个框架还支持同时对多个对象进行动画处理，增加了动画的复杂性和丰富性。 用户友好的交互： 通过简单的点击和短语提示，用户可以轻松地指定希望动画化的区域和动作类型，无需复杂的操作或详细描述。 工作原理： 首帧遮罩策略： 在视频生成过程中，首帧遮罩策略用于改善视频的整体质量。通过在训练时引入一个有效的遮罩策略，模型能够更好地理解时间上的相关性并生成更高质量的视频。 运动增强模块： 这一模块配备了一个专为简短运动提示设计的数据集，帮助模型提高对简短运动提示的响应能力。这意味着模型能够根据用户提供的简短动作指令（如"转头"、"微笑"等）生成相应的动画。 基于流的运动幅度控制： 为了更精确地控制目标运动的速度，"Follow-Your-Click"引入了一种基于光流的运动幅度控制机制。这允许模型根据光流的强度调整动画的速度，从而提供更精确的动画控制。 用户点击和短动作提示： 用户通过点击来指定图像中希望动画化的区域，并通过简短的动作提示来描述希望的动画效果。这种交互方式简单直观，大大降低了用户的操作难度。 实现效果：

No Result