Generative OmniMatte：Google开发出像Photoshop一样能将视频分解成多个图层的视频编辑技术

Google DeepMind 开发了一种创新的的视频编辑技术方法：Generative OmniMatte ，可以将视频分解为多个 RGBA 层（全透明背景层），每层包含一个完整的物体及其相关的效果（如阴影、反射等）。 也就是它可以把视频拆分成多个“图层”，每个图层包含一个物体和它的相关效果，比如阴影、反射等。 这样就像 Photoshop 那样，视频中的每个物体都可以单独处理，方便编辑和调整。 它不仅能让编辑视频更轻松，还能在背景动态或物体被遮挡时精准修复。 通过训练一个“自我学习”的AI模型，它能理解物体和周围环境的关系，生成清晰的分层结果，并支持多种视频编辑功能，比如去掉某个物体或改变运动轨迹。 它能做什么？ 把视频分层： 能把一个视频分成背景、物体1（比如一个人）、物体2（比如一辆车）等图层。 这样，你可以单独调整某个物体或者背景，而不会影响其他部分。 移除物体或效果： 可以移除视频中的某个物体，比如一只狗或者一个路人。 同时还能自动清理掉跟物体相关的阴影、反射等效果，保持视频整体的自然感。 动态场景也行： 传统技术只能处理静止背景（比如固定摄像头拍摄的视频），但这项技术可以在动态背景中分离前景和背景，比如在移动镜头下也能精确地识别和处理。 举个例子 如果你拍了一段海滩的视频，想移除里面跑来跑去的小朋友，这个工具可以精准移除孩子，同时保留背景的波浪和其他元素。 你还可以把小朋友的图层单独提取出来，修改颜色、添加效果，或者换个背景重新组合。 [video width="1714" height="791" mp4="https://img.xiaohu.ai/2024/11/boys-beach_animation_pause-occlusion_zoomed.mp4" loop="true" autoplay="true" preload="auto"][/video] [video width="3200" height="384" mp4="https://img.xiaohu.ai/2024/11/boys-beach-bg-row.mp4" loop="true" autoplay="true" preload="auto"][/video] 主要功能 1. 视频分层 语义明确的图层 ： 将视频分解为多个层，每层包含一个前景对象及其相关的效果（如阴影、反射）。 支持动态背景处理，不需要静止背景或相机位姿信息。 支持动态内容分层 ： 能处理动态背景、复杂遮挡以及动态对象之间的交互。 分层结果包括 RGBA 格式（红、绿、蓝、透明度），便于编辑和操作。 输出高分辨率的 RGBA 视频图层，为后续的视觉效果合成（如电影后期制作、广告创意）提供便利。 2. 物体和效果移除 智能去除物体： 可以移除视频中不需要的物体，比如路人、杂物等。 同时去掉相关的阴影和反射，保持画面自然。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/cartoon_sidebyside.mp4"][/video] 干净的背景生成： 移除物体后，系统会自动填补背景，让画面无缝衔接。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/six-penguins_sidebyside.mp4"][/video] 3. 遮挡区域的补全 通过生成扩散模型的先验能力，对被遮挡的区域进行合理的补全和修复。 例如，当前景对象部分遮挡了背景或其他物体时，可以生成完整的背景和对象。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/omnimatte-writing_sidebyside.mp4"][/video] 4 多物体场景支持 使用 Trimask （三值遮罩），明确指定哪些区域需要保留、哪些需要移除、哪些可能包含不确定的效果。 在多物体复杂场景中，能精准区分物体之间的相互影响，避免误删或误保留。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/people-jumping_sidebyside.mp4"][/video] 5. 视频编辑功能 对象移除 ： 支持移除视频中的指定对象，同时补全其影响区域（如阴影或反射）。 图层替换 ： 可以替换特定图层，例如将背景替换为新场景或改变前景对象的样式。 运动时间重定向 ： 对对象的运动进行调整，如加速、减速或重复某段动作。 前景与背景缩放或重定位 ： 修改对象的大小、位置，甚至将其移动到新的视频场景中。 动态效果处理 ： 处理如水面波纹、光影变化等复杂效果，使得编辑后的内容自然且连贯。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/ice-skating_sidebyside.mp4"][/video] [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/two-skaters_sidebyside.mp4"][/video] [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/pickup-desert_sidebyside.mp4"][/video] 6. 创意编辑功能 新场景合成，支持单独编辑每个图层： 通过图层操作与替换，将不同来源的视频内容合成一个新场景。用户可以单独调整某个物体或效果，比如更改颜色、透明度，甚至重新组合图层。 灵活组合，多对象处理： 在同一个视频中处理多个对象，支持复杂交互和动态变化。不仅可以移除，还可以单独提取图层用于其他创意项目。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/lego_sidebyside.mp4" loop="true" autoplay="true" preload="auto"][/video] 7. 高精度处理 通过自带的注意力机制（attention mechanism），精确识别物体和效果的关联，确保输出的质量。 在大多数场景中能保持背景与前景的自然过渡。 [video width="1285" height="432" mp4="https://img.xiaohu.ai/2024/11/chess_sidebyside.mp4"][/video] 技术原理 Generative OmniMatte 基于先进的生成式视频分解技术，核心思想是通过生成模型和自定义遮罩（Trimask），将视频分解为具有语义关联的多层。 1. 视频分层与生成模型 Generative OmniMatte 的核心是一个预训练的 视频扩散模型 （Video Diffusion Model），结合了以下关键步骤： 分解视频： 使用 RGBA 图层表示视频中的前景物体及其相关效果（如阴影、反射），并生成一个干净的背景图层。 动态生成： 利用生成式视频扩散模型完成动态场景中被遮挡区域的修复。 主要特性 不需要静态背景假设或准确的深度信息。 对动态和复杂场景提供更高质量的分层支持。 2. Trimask（三值遮罩）技术 Trimask 是一项关键技术，用于明确定义视频中不同区域的处理方式： 白色区域（保留）： 指定需要保留的物体。 黑色区域（移除）： 指定需要移除的物体或效果。 灰色区域（不确定）： 标识可能含有物体效果（如阴影、反射）的区域，供模型进一步处理。 Trimask 的使用大幅提升了处理多物体场景时的精准度。 [video width="1280" height="960" mp4="https://img.xiaohu.ai/2024/11/three-women_resized.mp4" loop="true" autoplay="true" preload="auto"][/video] 3. 视频分解方法 分解过程分为两个阶段： 对象与效果移除（Object and Effect Removal）： 使用“Casper”模型，根据 Trimask 去除目标对象及其相关效果，同时生成“干净背景”。 基于扩散模型的注意力机制，自动关联物体和其相关效果。 图层优化与重建： 将背景与单个前景图层组合，通过优化生成稀疏的 RGBA 图层。 优化的目标是使分层结果在合成后与原视频一致。 4. 生成式视频扩散模型 Generative OmniMatte 使用一种基于扩散的生成模型，主要特点包括： 预训练模型： 利用现有视频生成模型的语义关联能力，理解物体与效果之间的关系。 微调模型： 在小规模的真实与合成视频数据集上微调，以提升在动态和复杂场景中的性能。 优势 自动修复被遮挡的动态区域。 基于生成式先验，提升对自然视频中复杂语义关系的理解。 5. 数据驱动的训练与优化 模型通过以下类型数据进行训练： Omnimatte 数据： 提供静态背景场景的真实阴影和反射实例。 Tripod 数据： 提供动态背景（如水面波纹）的真实场景。 Kubric 数据： 合成多物体场景，训练模型处理复杂交互。 Object-Paste 数据： 通过在真实视频上叠加合成物体，增强背景修复能力。 通过数据增强（例如裁剪、翻转），模型实现对多样场景的适配。 6. 视频效果关联与注意力机制 通过模型内置的 注意力机制 分析物体与效果之间的空间关联： 在去噪过程中，模型学习物体和相关效果（如阴影）的语义关系。 精确定义遮罩范围，确保前景与背景分层的完整性。 7. 图层优化与高分辨率处理 分辨率提升： 从低分辨率结果（如 128px）开始优化，再逐步放大至高分辨率（如 640×384）。 细节迁移： 在完全不透明区域，使用原始视频的细节对高分辨率图层进行优化。 8. 主要优化目标 模型的优化目标包括： 重建损失（Reconstruction Loss）： 确保分层后的合成结果与原视频一致。 稀疏性约束（Sparsity Constraint）： 减少前景图层的不必要信息。 遮罩监督损失（Mask Supervision Loss）： 引导透明度图的优化。 项目地址及更多演示： https://gen-omnimatte.github.io/ 技术报告： https://arxiv.org/pdf/2411.16683

Menu

分类目录

Generative OmniMatte：Google开发出像Photoshop一样能将视频分解成多个图层的视频编辑技术

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Genie 一个更像人类工程师的 AI 模型在编程任务中超越所有的现有AI模型

Marker ：快速准确地将各种文件转换为 Markdown 格式

面壁智能发布其多模态模型MiniCPM-V 2.6 性能越了 GPT-4V 可运行在iPad上

OpenAI 提出了一种新方法来提高模型输出答案的可读性确保输出正确且易于理解

MindEye2：仅需1小时训练数据就能从大脑活动中重建所见图像

腾讯混元DiT模型支持中英双语生成高分辨率、高质量的图像

教程：只需合适的提示词使用 ChatGPT 在 Blender 中创建3D场景

阿里巴巴发布语音模型：Qwen2-Audio 可与模型直接语音对话和分析转录各种声音

Google扩充Gemma开源家族推出CodeGemma 和 RecurrentGemma模型

OpenAI 宣布推出Whisper large-v3-turbo 语音转录模型速度提高了8倍

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Generative OmniMatte：Google开发出像Photoshop一样 能将视频分解成多个图层的视频编辑技术

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Generative OmniMatte：Google开发出像Photoshop一样能将视频分解成多个图层的视频编辑技术