MotionFollower：将一个视频中的人物动作转移到另一个视频中的人物身上

MotionFollower用来编辑视频中运动的新方法，它能将目标视频的运动信息转移到源视频上，同时保持源视频的背景和主角外观。 这意味着MotionFollower可以将一个视频中的运动（例如某人的动作）复制到另一个视频中的人物上，而不改变第二个视频的背景和人物的外观。举个例子，假设我们有两个视频： 源视频 ：一段风景优美的公园视频，视频中的主角是一位穿着红色衣服的女性，她正在站着没有动作。 目标视频 ：一段舞蹈视频，视频中的主角是一位穿着蓝色衣服的男性，他在跳舞。 使用MotionFollower，我们可以将目标视频中男性的舞蹈动作转移到源视频中女性的身上。结果是： 合成视频 ：女性在原本公园的背景下，做出了男性在目标视频中的舞蹈动作，但她的外观（如红色衣服和外貌）保持不变，公园的背景也没有变化。 这就像是把目标视频中的动作“套用”到源视频中的人物上，同时保留了源视频的背景和人物的外貌特征。以下是更详细的步骤： 分析目标视频 ：提取目标视频中人物的动作信息（例如，通过姿势检测获取每一帧的姿势数据）。 分析源视频 ：确定源视频中的人物和背景，并生成与目标视频中人物姿势相匹配的姿势数据。 合成新视频 ：将目标视频中提取的动作信息应用到源视频中的人物身上，生成新的视频。 通过这种方式，MotionFollower可以实现复杂的视频运动编辑功能，使得视频制作变得更加灵活和高效。 [video width="4320" height="1080" mp4="https://img.xiaohu.ai/2024/06/6月9日-1.mp4"][/video] 主要功能 视频运动信息转移 ： 能够将目标视频中的运动信息（如人物的动作、舞蹈等）转移到源视频中的人物身上，使源视频中的人物做出目标视频中的动作。 保持源视频背景 ： 在运动信息转移过程中，保留源视频的背景不变，即使目标视频的背景不同，也不会影响合成视频中的背景。 保持人物外观 ： 在将运动信息转移到源视频中的人物时，保持源视频中人物的外观不变，包括他们的服装、面貌等特征，只改变他们的动作。 支持大范围相机运动 ： MotionFollower 能够处理包含大范围相机运动的视频，使得在移动的场景下也能实现高质量的运动信息转移。 复杂背景处理 ： 能够在复杂背景下进行视频编辑，确保背景细节和运动信息的高度一致性，不出现明显的视觉违和感。 轻量级计算 ： 采用轻量级的信号控制器和分数指导原则，大幅减少计算资源的占用（例如GPU内存），相比现有的最先进模型如MotionEditor减少约80%的GPU内存占用。 高效的视频编辑 ： 通过引入一致性正则化和多重损失函数，确保编辑后的视频在时间一致性和视觉效果上达到高质量水平。 技术方法 1. 轻量级信号控制器 姿势控制器（Pose Controller, PoCtr） ：它像一个“动作侦测器”，能够识别和理解目标视频中的人物动作，并把这些动作信息传递给源视频中的人物。 使用四个卷积块（每个块包含两个卷积层）来编码姿势信号，将目标视频中的姿势信息转化为与初始潜变量相同维度的表示。 在去噪过程中，将这些表示添加到潜变量中，实现轻量且高效的姿势指导。 参考控制器（Reference Controller, ReCtr） ：它像一个“外观保护器”，负责确保源视频中人物的外貌（如衣服颜色、脸部特征等）在编辑过程中不被改变。 采用四个卷积块对源视频的外观特征进行降采样，并将多尺度的源特征注入到去噪的U-Net中，确保外观细节的保留。 通过纯卷积操作，避免了复杂的注意力机制，减少计算开销。 2. 双分支架构 重建分支和编辑分支 ：重建分支确保源视频的原始背景和人物外观能够被准确地重现。可以把它想象成一台复制机，确保所有细节都不丢失。编辑分支负责将目标视频中的动作添加到源视频中人物的身上。就像在原始视频上添加一个新的动作层。 在推理过程中，模型通过两个分支处理视频帧：一个用于重建原始视频，另一个用于编辑视频。 两个分支共享相同的信号控制器，通过随机噪声初始化，分别计算重建和编辑特征。 利用分数指导原则，将编辑分支的潜变量优化到与重建分支一致，以保持区域一致性。 3. 分数指导原则 MotionFollower会在编辑过程中不断检查和调整，确保新的视频在背景和人物外观上与原视频一致。它就像一个严格的审查员，确保没有任何细节被忽略。 一致性指导 ： 在推理过程中，引入额外的正则化，确保去噪过程保持源视频的语义细节，如背景和相机运动。 通过轻量级的分割模型获取源视频和编辑视频的前景和背景掩码，根据这些掩码计算多个损失函数。 损失函数 ： 前景损失（L_fg） ：通过最大化编辑和重建分支前景特征的相似性，保持主角外观。 背景重叠损失（L_over） ：重建编辑和重建分支之间重叠的背景，确保背景一致性。 身体非重叠损失（L_body） ：避免由于姿势对齐误差引起的背景重叠，减轻幽灵效应。 补充损失（L_com） ：在源视频的背景信息的帮助下，修复编辑视频中非重叠的前景部分。 4. 训练策略 图像训练阶段 ： 首先在单帧图像上进行训练，将运动模块移除以适应图像域。目标是使模型能够在给定源图像和目标姿势的情况下进行图像编辑。 视频训练阶段 ： 在第二阶段，将运动模块重新引入，进行视频训练。为保持单帧编辑的高质量，采用混合训练策略，包括图像和视频编辑训练。 [video width="1232" height="1080" mp4="https://img.xiaohu.ai/2024/06/6月9日-2.mp4"][/video] 举个例子 假设你有两个视频： 源视频 ：公园里的一位穿红色衣服的女士站着不动。 目标视频 ：室内舞蹈房里的一位穿蓝色衣服的男士在跳舞。 MotionFollower的工作过程如下 ： 检测动作 ：识别目标视频中男士的舞蹈动作。 保持外观 ：确保女士的红色衣服和外貌不会被改变。 复制动作 ：将男士的舞蹈动作“复制”到公园里的女士身上，但不改变公园的背景。 生成新视频 ：合成一个新的视频，视频中的女士在公园里跳起了男士在舞蹈房里的舞蹈动作。 结果 最终的合成视频看起来像这样： 背景 ：仍然是公园。 人物 ：仍然是穿红色衣服的女士。 动作 ：女士跳起了男士在目标视频中的舞蹈动作。 通过这种方式，MotionFollower可以在不改变源视频背景和人物外观的前提下，实现复杂的视频运动编辑。这种技术在电影制作、广告创意、社交媒体内容创作等领域都有广泛的应用前景。 实验结果 高效使用GPU ：MotionFollower比现有的先进方法（如MotionEditor）节省了约80%的GPU内存。 更好的视频质量 ：MotionFollower在视频编辑的多个方面表现更好，比如视频的清晰度、人物和背景的一致性等。 具体表现 ： L1误差 （越低越好）：MotionFollower的误差比其他方法低，这意味着它能更精确地编辑视频。 PSNR （峰值信噪比，越高越好）：MotionFollower的PSNR值更高，表明生成的视频质量更好。 SSIM （结构相似性，越高越好）：它的SSIM值也更高，表示视频中的细节保留得更好。 LPIPS （感知相似性，越低越好）：它在这方面也表现更优，说明视觉效果更接近真实。 FID （生成对抗网络分数，越低越好）：MotionFollower在FID上得分更低，表明它生成的视频质量更高。 FID-VID和FVD （视频质量评估指标，越低越好）：这些指标都显示MotionFollower在视频一致性和质量上优于其他方法。 用户评价： 在用户研究中，绝大多数用户更喜欢MotionFollower生成的视频，因为它在保持运动、外观和背景一致性方面表现出色。 项目及演示： https://francis-rings.github.io/MotionFollower/ 论文： https://arxiv.org/pdf/2405.20325 GitHub： https://github.com/Francis-Rings/MotionFollower

Menu

分类目录

MotionFollower：将一个视频中的人物动作转移到另一个视频中的人物身上

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

MistoLine：将手绘的草图直接生成符合草图轮廓的高质量图像

Google NotebookLM推出 “Audio Overview” 的功能可以将任意文档转换成播客对话

Perplexity 与 SoundHound AI 合作为汽车带来在线智能语音助手

PicMenu：利用AI可视化你的菜单你只需拍一下菜单即可将你的菜名生成对应的图片

Meta 发布开源模型 Llama 3，以及新版本Meta AI 助手

VASA-1：一张静态图像 + 一段语音生成逼真的对话面部视频

Google研究项目：通过逐帧分析视频内容，实时理解和生成视频字幕

NeuralGCM：Google开发的结合AI技术和传统大气环流模型的天气预测模拟系统

Dolphin Mixtral 1x22b：去除对齐和偏见没有任何审查和道德限制的模型

Devin：全球首位AI软件工程师通过了顶尖 AI 公司真实面试，并能完成真正的工作

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

MotionFollower：将一个视频中的人物动作转移到另一个视频中的人物身上

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?