支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频

支付宝发布 EchoMimicV2 ，从仅支持头部驱动的动画扩展到 半身动画 （包括头部、手势和上身动作）。 支持通过音频驱动半身人体动画生成。通过输 入一段音频、一张参考图片以及简单的手势序列 ，它可以生成包含 头部、手势和上半身动作 的动态视频。系统结合音频和动作的特征，生成自然、流畅且高度同步的半身动画。 [video width="1066" height="500" mp4="https://img.xiaohu.ai/2024/11/388372056-f544dfc0-7d1a-4c2c-83c0-608f28ffda25.mp4"][/video] 适用于虚拟主播、视频制作、动画生成等场景，能够让角色的动作与语音高度匹配，表现生动自然。 相较现有方法的优势： 输入要求更简化 ：相比传统的基于动作驱动或音频驱动的方法，输入条件更简单，使用更灵活。只需要一张参考图、一段音频和一些手势，就能生成高质量的动画，不用复杂的额外输入。 更高的动画质量 ：在定量和定性评估中均表现优异。 适用场景广泛 ：支持中英文音频驱动，适应多语言、多场景需求。 EchoMimicV1 介绍 https://xiaohu.ai/p/11120 EchoMimicV2 的更新 相比之前的版本， EchoMimicV2 在以下几个方面做了重要升级： 1. 从“只动头”到“半身动画” 更新内容 ：不再局限于只控制头部表情，现在可以生成包含头部、手势和上半身动作的半身动画。 好处 ：让人物的动作更加生动自然，更贴近真实的人类表现，比如虚拟主播可以用手势配合说话。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_09.mp4"][/video] 2. 动作与声音匹配更精准 更新内容 ： 加入了 音频和动作动态融合 技术，让动作和声音的同步更加流畅。 声音中的语气和节奏也能体现在手势和表情变化中。 好处 ：人物的动作和说话的内容更贴合，看起来更真实。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_05.mp4"][/video] 3. 解决数据不够的问题 更新内容 ：通过 头部数据的部分注意力机制 ，在训练时用头部数据弥补半身数据的不足。 好处 ：即使没有很多半身动作的数据，也能训练出一个很厉害的模型，省去额外采集数据的麻烦。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_01.mp4"][/video] 4. 动画生成更细腻 更新内容 ：引入了 分阶段优化损失 的方法，分别针对动作流畅、表情细节和画面质量进行改进。 好处 ：生成的动画不仅动作自然，表情也很丰富，整体画面更干净，看不到明显的瑕疵。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_02.mp4"][/video] 5. 输入更简单 更新内容 ：去掉了很多复杂的条件，只需要一张参考图片、音频和简单的手势序列就可以生成动画。 好处 ：操作更容易，对普通用户和开发者都更友好。 EchoMimicV2 技术亮点 音频-动作动态协调策略 (Audio-Pose Dynamic Harmonization) ： 动作采样 (Pose Sampling) ：通过对手势序列进行优化采样，确保半身动作的连贯性和自然表现。 音频扩散 (Audio Diffusion) ：结合音频信号生成更精准的动作细节，使音频内容与动画动作高度一致。 头部部分注意力机制 (Head Partial Attention) ： 针对半身数据稀缺的问题，将头部特征数据无缝集成到训练框架中。训练阶段使用头部数据优化模型，但推理阶段无需提供头部特定输入，从而降低使用门槛。 阶段特定去噪损失 (Phase-Specific Denoising Loss) ： 针对动画生成过程分阶段设计损失函数： 运动动态优化 ：生成流畅且具有表现力的动作轨迹。 细节增强 ：提升面部表情与手势的真实感。 低层次画质改进 ：确保最终视频画质的稳定性与清晰度。 轻量化设计 ： 通过减少冗余条件注入模块和优化模型架构，显著降低计算资源消耗，使其易于集成到实际应用中。 项目地址及演示： https://antgroup.github.io/ai/echomimic_v2/ 技术报告： https://arxiv.org/pdf/2411.10061 GitHub： https://github.com/antgroup/echomimic_v2 模型： https://huggingface.co/BadToBest/EchoMimicV2

Menu

分类目录

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

TxT360：一个用于大语言模型训练的全球去重的高质量数据集 5.7万亿个高质量的tokens

VimTS：自动识别图像或视频序中的文本信息并精确提取内容

Claude 3发布：性能超越GPT4 具有“接近人类”理解能力

SAMPLE：自动化蛋白质设计系统自己设计和测试新的蛋白质

Snap 发布第五代 Spectacles AR 眼镜内置AI 可通过语音提示直接生成 3D 动画

Stability AI 推出了Stable Artisan 可以在Discord上进行图像生成与编辑

Jamba：首个Mamba的生产级模型开创性的SSM – Transformer架构

NVIDIA 发布 Nemotron-4 340B 开源模型主要用于生成高质量的合成数据

Arc2Face：根据你的独特面部特征生成极为逼真且多样化的人脸图像

Sonic：基于状态空间模型的低延迟实时推理语音生成模型

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人 可以通过图片+音频生成半身动画视频

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频