Adobe 最新研究：从单一普通视频生成从不同视角观看的视频画面

该项目可以快速从任意视频中创建新的视角，类似于你能从不同的角度观看同一场景，即使原视频只是从一个角度拍摄的。这项技术特别适合于处理动态的场景，比如运动中的人或移动的车辆等。 与传统基于NeRF的技术相比，这种方法在保持视觉效果的同时，大大加快了处理速度，解决了在动态场景下视角生成的速度瓶颈问题。 [video width="1952" height="1088" mp4="https://img.xiaohu.ai/2024/05/dog.mp4"][/video] 用户可以通过鼠标交互式地移动视点，这些实时演示是在配备 A100 GPU 的 ipython 笔记本上运行并进行屏幕录制的。 解决的问题

训练和渲染速度慢： 传统的基于NeRF的方法虽然能够生成高质量的新视角，但通常需要较长的训练和渲染时间。本项目通过显式视频表示和优化算法，大大提高了处理速度，使训练和渲染速度比现有技术快100倍以上。 动态场景处理困难： 动态场景的处理通常更复杂，尤其是在缺少足够视差信息的视频中。该项目通过独立处理视频中的动态和静态内容，优化了动态场景的视角合成效果。 资源效率低： 传统方法在资源消耗上往往较高，限制了其在资源受限环境下的应用。本项目优化了资源利用效率，使其能在单个GPU上快速完成训练和渲染过程。 主要特点 高效视角合成： 该技术能够从单一摄像机拍摄的视频中快速生成新的视角，即使原始视频仅从一个角度拍摄。这种快速合成新视角的能力特别适用于动态和变化多端的场景。 实时渲染： 技术设计支持实时渲染，这意味着它可以快速处理和输出新视角的图像，适合需要即时视觉反馈的应用，如实时视频编辑和虚拟现实。 处理动态和静态内容： 它通过分别处理视频中的静态和动态内容来优化视角合成的质量和效率。例如，它使用基于平面的场景表示来建模静态场景，而动态内容则通过逐帧点云表示。 优化训练和渲染速度： 相比于传统的基于神经辐射场（NeRF）的方法，此技术在训练和渲染过程中速度更快，训练时间缩短至传统方法的百分之一，显著提高了效率。 质量保证： 尽管速度得到了提升，但合成的新视角图像仍保持高质量，能够与当前最先进的技术相媲美，确保视觉效果的真实性和吸引力。 主要功能 1、支持改变视角和焦距 这项技术 允许用户在任何帧上自由改变摄像机的视角和焦距。 这是通过构建一个详尽的场景表示实现的，它包括：

3D静态场景模型 ：为静态背景创建一个全面的、基于平面的3D模型。 动态内容的点云表示 ：使用点云动态地捕捉视频中的移动对象。 结合这两种表示，技术能够在不同的视角和焦距下重新构建场景，为用户提供灵活的视角切换和焦距调整能力。

举例解释： 假设你有一个在海滩上拍摄的家庭视频。在这个视频中，你的家人正在玩飞盘，摄像机从一个固定的视角记录了这一刻。现在，你想要用这项技术来重新体验那个时刻，但是这次你希望能从不同的角度看到场景，甚至想要看到某些细节，比如飞盘从空中飞过的全过程。使用这项技术，你可以在任何帧中自由改变观看视频的视角。例如，原视频中的摄像机可能对着海滩，而你现在可以转换视角，从海向陆地看，观察你的家人是如何互动的。同时，如果原视频的焦距较宽，未能捕捉到远处的细节，现在你可以调整焦距，放大某个特定的区域，比如飞盘接触手的瞬间。 [video width="1152" height="656" mp4="https://img.xiaohu.ai/2024/05/tortoise.mp4"][/video] 2、时空索引探索 时空索引： 是指在视频的时间轴上探索不同空间（视角）的能力。这项技术通过将视频分解为独立处理的静态和动态层，允许用户不仅在空间上自由切换视角，还可以在时间上自由地探索这些视角，从而实现对动态场景的深入了解。这对于分析或回放特定事件特别有用，用户可以从多个角度和不同时间点观察场景发生的情况。 举例解释： 让你可以在时间轴上自由移动，选择任何一个时间点，从任何角度观察场景。例如，在飞盘快要被接住的那一刻，你可以暂停视频，从侧面视角观察这一动作，甚至可以观察从飞盘的视角看向你的家人，体验这一刻的动态美。[video width="1152" height="656" mp4="https://img.xiaohu.ai/2024/05/big-sur.mp4"][/video] 3、适用于真实的高动态视频

该技术特别适合处理真实的高动态视频，如体育赛事、户外活动等场景，这些场景中常常包含快速移动的对象和复杂的背景变化。通过动态内容的高效表示和快速渲染能力，它能够维持高质量的视觉输出，同时处理视频中的高动态变化。 举例解释： 假设这个视频拍摄时光线变化大，背景中有云彩迅速移动的情况，这项技术能够有效地处理这种高动态的场景，确保从任何视角观看时，云彩和光线的变化都能自然地呈现，不会因为视角变化而出现不连贯的情况。[video width="960" height="544" mp4="https://img.xiaohu.ai/2024/05/basketball.mp4"][/video] 4、生成3D立体视频

通过给定输入单眼视频，该技术可以通过在虚拟左右摄像机视图上进行新颖视图合成来生成立体视频 一旦场景的三维结构被建立，系统便可以开始合成新的视角。对于立体视频，需要创建两个虚拟的相机视角：一个代表左眼，另一个代表右眼。这些视角之间的距离（称为基线）根据期望的立体视觉效果来确定。通过调整这个基线，可以控制视觉立体的深度感。 通过分析单目视频中的场景，创建出虚拟的左右两个相机视角，从而合成立体视频。这样，原本平面的视频就能变得有深度感，观看者就像戴了3D眼镜看电影一样，能感受到物体间的空间距离，使观看体验更加真实和沉浸。 [video width="1152" height="656" mp4="https://img.xiaohu.ai/2024/05/tokyo-walk.mp4"][/video] 通过这项技术你可以用来“唤醒”用户的视频记忆，你可以从多个视角重新观看家庭视频，使得这些珍贵的记忆可以以全新的方式被体验和分享。通过改变视角，探索视频中的每一个细节，从而得到更丰富的观看体验技术方法。 技术方法 这项技术通过将视频分成静态背景和动态对象两部分来处理。对于静态部分（比如不动的背景），它构建了一个全面的场景模型；对于动态部分（比如移动的人或车辆），则使用点云（一种3D数据结构）来捕捉每一帧的动态信息。通过这种方式，它能够更快地处理和渲染视频，同时保持高质量的输出。 1. 分离静态和动态内容 该方法将视频内容分为静态和动态两部分，以提高处理效率和输出质量： 静态内容 ：使用基于平面的场景表示，这些平面被增强以捕获视角依赖的效果和模拟复杂的非平面表面几何。这通过使用球面谐波和位移图来实现，以确保即使在从新的视角观看时，场景的静态部分也保持视觉一致性。 动态内容 ：采用逐帧点云的形式表示，以处理视频中移动或变化的对象。这种表示形式允许动态内容在不同帧之间快速更新，同时保持渲染过程的高效率。 2. 混合视频表示 开发了一种混合视频表示法，它结合了上述静态和动态内容的处理方法。该表示法旨在快速估计并实时渲染新视角，通过以下几个步骤实现： 视频预处理 ：获取视频深度和姿态以及动态掩模，为分离静态和动态内容打下基础。 初始化定向平面 ：对静态场景初始化一组定向平面，这些平面通过适应场景的几何形状来配置。 视角依赖的纹理映射 ：对于每个平面，根据观看方向计算视角特定的颜色和位移，这有助于在不同视角下保持场景的视觉一致性。 3. 实时渲染新视角 为了支持实时应用，提出的方法可以快速渲染从新视角看到的视频帧： 动态内容混合 ：使用光流技术将动态内容从相邻帧中混合，以增强时序一致性。 静态和动态内容的合成 ：将静态背景与动态对象合成，生成新视角下的完整场景。 实时渲染 ：能够以每秒27帧的速度实时渲染新视角，这对于需要即时视角生成的应用（如虚拟现实和增强现实）来说是一个重大突破。 4. 优化和速度提升 优化策略 ：使用一套精心设计的损失函数来优化混合视频表示，包括光度损失、深度一致性损失和视觉质量评估。 速度提升 ：该技术的一个显著优势在于其训练和渲染速度。与传统基于NeRF的方法相比，该技术在训练和渲染上的速度提高了100倍以上。具体来说，它能够在单个GPU上仅用15分钟完成优化，而传统方法可能需要数小时甚至数天。 渲染质量 ：尽管速度快得多，渲染出的新视角在质量上与现有的最先进方法相当。这是通过使用高效的显式视频表示和混合静态-动态内容处理技术实现的。 [video width="1440" height="580" mp4="https://img.xiaohu.ai/2024/05/teaser-5.mp4"][/video] 项目及演示： https://video-language-planning.github.io/ 论文： https://arxiv.org/abs/2312.02135