StreamV2V：实时视频转换的工具可以进行视频实时换脸和风格转换

StreamV2V 是一个可以实现实时视频转换的工具，能够在一个 RTX 4090 显卡上运行。它可以用来做面部替换，比如将视频中的人脸换成 Elon Musk 或 Will Smith 的脸，还可以将视频变成像黏土动画或涂鸦艺术一样的风格。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/camera_demo.mp4"][/video] 主要功能 1. 实时视频到视频转换 StreamV2V 能够在 RTX 4090 GPU 上实现实时视频到视频的转换，处理帧速率达到 20 FPS。该功能确保视频转换过程中保持高效和低延迟。 实时性 ：StreamV2V能够处理流媒体输入，实时地将一个视频转换为另一个视频。 流媒体输入 ：输入的视频可以是实时流媒体视频，比如从网络摄像头传输的视频流。 2. 面部交换 StreamV2V 支持将视频中的人脸替换为其他人的脸，例如 Elon Musk 或 Will Smith。该功能可用于娱乐、虚拟现实等多种应用场景。 3. 视频风格化 StreamV2V 可以将视频转换成不同的艺术风格，包括： 黏土动画风格 ：将视频处理成类似于黏土动画的效果。 涂鸦艺术风格 ：将视频转换成类似于手绘涂鸦的艺术效果。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/05/streamv2v_video.mp4"][/video] 技术方法 1. 流媒体处理框架 传统的视频到视频（V2V）转换方法通常使用批处理方式，需要将所有帧加载到 GPU 内存中，这样处理的帧数和视频长度会受到限制。StreamV2V 采用流媒体方式处理帧，支持无限帧数的处理，适用于流媒体视频的实时转换。 2. 特征库机制 StreamV2V 的核心是一个向后看的原理，通过维护一个特征库，将当前帧与过去帧联系起来：该技术被称为特征库的技术，来实现从一个视频到另一个视频的实时转换。具体来说，特征库存储了视频过去帧的特征信息，当新的视频帧到达时，系统会检索和使用这些存储的特征信息来处理和转换新的帧。这种方式使得系统能够高效地处理视频帧，实现实时的视频转换。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/05/method.mp4"][/video] 特征库（Feature Bank） 存储过去的特征信息 ：特征库是一个数据结构，用来存储视频处理过程中每个帧的特征信息。这些特征信息可以包括图像的纹理、颜色、形状等。StreamV2V 是逐帧处理，就像看电视一样，实时处理每一帧，这样可以处理无限长的视频。 动态更新 ：随着视频帧的不断处理，特征库会动态更新，合并新的特征信息，同时保留重要的过去特征，使得特征库既紧凑又信息丰富。 实时翻译 实时处理 ：传统的方法往往需要一次性处理多个帧（批处理），这会占用大量的GPU内存并且限制视频的长度。而使用特征库的流媒体处理方式，可以逐帧处理视频，支持长时间的视频流实时处理。 帧间关联 ：当新的帧到达时，系统会从特征库中检索与当前帧相似的过去帧的特征信息，并将这些信息融合到当前帧的处理过程中。这种做法通过利用过去帧的信息，增强了当前帧的处理效果。 3. 扩展自注意力机制（Extended self-Attention, EA） EA 机制将存储的键和值直接连接到当前帧的自注意力计算中： 存储键和值 ：存储在特征库中的键和值与当前帧的自注意力计算相结合，增强了对过去帧信息的利用。想象你在做一幅拼图，而每个新到的拼图块（新帧）都会参考之前拼好的部分（过去的帧），这样每个新块都能更快更准确地找到自己的位置。 4. 直接特征融合（Feature Fusion, FF） FF 机制在变压器块的输出上操作，通过余弦相似度矩阵检索相似特征，并进行加权求和融合： 相似特征检索 ：通过余弦相似度矩阵检索特征库中的相似特征。 加权融合 ：对检索到的相似特征进行加权求和，将其融合到当前帧的输出中。 意思就是当你处理一个新的帧时，FF就像是一个智能助手，它会在记事本中找出最相似的记录（相似特征），然后将这些记录与当前帧结合，确保新帧看起来和之前的一致。 具体步骤 记录特征 ：系统会记录每一帧的视频特征，就像在记事本上记下每一帧的关键信息。 检索特征 ：当新帧到达时，系统会在记事本中找到最相似的记录，这样可以利用过去的信息来帮助处理当前帧。 融合特征 ：将过去的记录和当前帧的信息结合起来，确保视频的连续性和一致性。 优点 高效处理 ：逐帧处理减少了内存占用，可以处理更长的视频。 保持一致性 ：利用过去帧的信息，确保每一帧之间的过渡自然，看起来更连贯。 性能评估结果 StreamV2V 在多个定量指标和用户研究中表现出色，以下是其详细的性能评估结果： 1. 定量指标 StreamV2V 在 CLIP 得分和 Warp 错误上的表现： 方法 CLIP 得分（↑） Warp 错误（↓） StreamDiffusion 95.24 117.01 CoDeF 96.33 116.17 Rerender 96.20 107.00 TokenFlow 97.04 114.25 FlowVid 96.68 111.09 StreamV2V (我们) 96.58 102.99 CLIP 得分 ：CLIP 得分越高，表示生成的视频在语义一致性和视觉质量上的表现越好。StreamV2V 的 CLIP 得分在所有方法中排名靠前，表明其生成视频的质量非常高。 Warp 错误 ：Warp 错误越低，表示生成的视频在时间一致性上的表现越好。StreamV2V 的 Warp 错误最低，说明其在保持视频的时间一致性方面表现最佳。 2. 用户研究 StreamV2V 在用户研究中的表现： 用户研究结果表明，用户在观看不同方法生成的视频时，更加偏好 StreamV2V 生成的视频。具体表现为： 偏好频率 ：在对比测试中，用户更频繁地选择 StreamV2V 生成的视频，相对于其他方法，StreamV2V 的偏好频率最高。 3. 运行时间分析 StreamV2V 在一台 A100 GPU 上生成一个 4 秒 512x512 分辨率视频的运行时间（帧率为 30 FPS）： 方法 生成时间（秒） FlowVid 15 倍 CoDeF 46 倍 Rerender 108 倍 TokenFlow 158 倍 StreamV2V (我们) 20 FPS 生成时间 ：StreamV2V 在一台 A100 GPU 上以 20 FPS 的速度运行，比 FlowVid、CoDeF、Rerender 和 TokenFlow 分别快 15 倍、46 倍、108 倍和 158 倍。说明 StreamV2V 在保持高质量生成的同时，具有极高的运行效率。 项目及演示： https://jeff-liangf.github.io/projects/streamv2v/ GitHub： https://github.com/Jeff-LiangF/streamv2v 论文： https://arxiv.org/abs/2405.15757

Menu

分类目录

StreamV2V：实时视频转换的工具可以进行视频实时换脸和风格转换

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

全面了解和掌握 Midjourney 中的各种摄影灯光照明技巧→ 特殊效果

Chameleon：能同时理解和生成文本与图像混合模态模型

Paper Piano 纸钢琴：通过摄像头将任何一张纸变成一架钢琴

Meta AI 公布了多项新的研究成果包括4个可用的AI模型和2个额外的研究成果

VideoSwap：替换视频中的人物、物体同时保持视频背景不变

DeepMind 发布新一代天气预测 AI 模型：GenCast 可精准预测15天内的天气情况

使用 Vercel 和 Nextjs 技术开发一个 RAG（检索增强生成）系统

HeyGen 发布5.0版本推出可以进行实时问答的视频聊天机器人

F5-TTS ：支持多语言切换、速度控制、情感表达具有零样本生成能力的TTS系统

ChatGPT 记忆功能上线能记住你和GPT互动的所有内容

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

StreamV2V：实时视频转换的工具 可以进行视频实时换脸和风格转换

主要功能

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

StreamV2V：实时视频转换的工具可以进行视频实时换脸和风格转换