Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步

by 小互
2024年10月23日
in XiaoHu.AI日报
0 0
0
Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步
0
SHARES
471
VIEWS
Share on FacebookShare on Twitter

Runway 推出的一款生成式角色表演工具,Act-One可以通过使用视频和语音输入生成逼真的角色表演,是一种利用生成式模型创建真人动画和动画内容的新方法。

  • 轻松制作角色动画:只需要用摄像头录下演员的表演,Act-One 就能把视频转换成虚拟角色的动画,比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。
  • 简单快捷:传统动画制作需要专门的设备和复杂的步骤,比如动作捕捉或面部建模,但用 Act-One,只要一台普通摄像头就能生成逼真的角色动画,大大简化了流程。
  • 多种角色风格:Act-One 可以根据不同的参考图像,把同一个演员的表演变成各种风格的角色,无论是卡通还是逼真风格都可以。
video-02

Act-One 的核心功能与能力

1. 生成逼真的角色表演

  • 输入类型:Act-One以视频和语音作为输入,通过演员的现场表演来驱动虚拟角色的动作和表情。
  • 输出表现:它能生成动态的角色动画,保留演员的眼神、微表情、语调和动作节奏,确保最终生成的角色表现具备真实情感。
act-one-026

仅使用演员表演的简单视频即可将角色转换成生成动画风格。

Act-One-000

视线、微表情、节奏和表达都忠实地呈现在最终生成的输出中。

2. 简化面部动画流程

  • 传统的面部动画通常需要复杂的动作捕捉设备、手动面部建模和多步流程。而Act-One只需要单一摄像头捕捉演员表演,即可生成虚拟角色动画,极大简化了动画制作过程。
  • 不需要额外的设备或手动面部建模,大幅降低了制作门槛。
act-one-grid-op

使用简单的单摄像机设置捕捉演员的表演,可用于为生成的角色制作动画。

act-one-022

一个简单的家用摄像机设置可以捕捉演员的表演,从而为生成的角色制作动画。能保持声音同步和嘴型同步

3. 支持多样化角色表现

  • Act-One 能够处理各种不同类型的角色,并将演员的表演准确转换为不同比例、不同风格的虚拟角色。这意味着,用户可以基于一个表演生成多种角色动画,从而实现更具创意的角色设计和演绎。

act-one-031
act-one-032
act-one-028

视频输入生成多种风格的角色动画

4. 多轮对话场景的生成

  • Act-One 支持创建复杂的多轮对话场景,这在以前的生成式视频模型中较为困难。用户只需使用一个演员和一台摄像机,即可演绎多个角色的对话,并通过生成的虚拟角色实现多角色互动。
BTS+Act-One

使用单个演员和摄像机设置一起编辑的多机位对话场景,以驱动两个独特的生成角色的表演。

5. 灵活的创意应用

  • 工具的强大之处在于其多摄像机的对话场景处理能力,通过单一摄像机和演员实现多个角色的表演和编辑。
  • 家庭摄像头生成动画:用户仅需在家用摄像头前进行表演,Act-One 就能生成专业级别的动画。
  • 多模态输出:无论是单个角色的动画,还是包含多个角色的叙事场景,Act-One都能通过同一段表演生成多种不同风格和场景的角色表现。
act-one-020

Act-One 的应用场景

  • 电影与动画制作:为创作者提供更高效的面部动画工具,适用于电影、短片、广告等的动画生成。
  • 角色设计与开发:可以快速生成具有不同风格和表情的角色样本,帮助游戏开发者和艺术家快速创建角色原型。
  • 叙事与创意内容:支持创作者用简单的设备生成多角色叙事视频,特别适合叙事性强的创意内容和社交媒体视频。

官方介绍:https://runwayml.com/research/introducing-act-one

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
482
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
336
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
448
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
278
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
614
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
428

Recommendeds

ReSyncer:一个多功能统一模型 可以实现音视频口型同步、说话风格迁移和换脸

ReSyncer:一个多功能统一模型 可以实现音视频口型同步、说话风格迁移和换脸

787 VIEWS
2024年8月10日
ViPer:为Stable Diffusion 提供个性化图像生成方法 记住你的艺术喜好

ViPer:为Stable Diffusion 提供个性化图像生成方法 记住你的艺术喜好

172 VIEWS
2024年7月29日
WhisperKit :只需2行代码即可部署在在Apple设备上的实时语音推理Swift包

WhisperKit :只需2行代码即可部署在在Apple设备上的实时语音推理Swift包

273 VIEWS
2024年4月8日
Stability AI 推出一套全面的 API 服务 帮你快速创建AI图像工具

Stability AI 推出一套全面的 API 服务 帮你快速创建AI图像工具

56 VIEWS
2024年3月22日
Magic Fixup:一种革命性的照片编辑技术 将粗略编辑转化为逼真图像

Magic Fixup:一种革命性的照片编辑技术 将粗略编辑转化为逼真图像

84 VIEWS
2024年3月28日
Prompt 学习地图 01 | 编写清晰的说明 – 多说两句,提供细节

Prompt 学习地图 01 | 编写清晰的说明 – 多说两句,提供细节

361 VIEWS
2024年3月25日
如何使用 Midjourney 的 /describe 命令来创造独特的图像

如何使用 Midjourney 的 /describe 命令来创造独特的图像

131 VIEWS
2024年3月28日
换脸应用 FaceFusion 升级为 “面部操控平台” 支持面部表情恢复迁移编辑

换脸应用 FaceFusion 升级为 “面部操控平台” 支持面部表情恢复迁移编辑

480 VIEWS
2024年11月7日
E5-V:多模态大语言模型的通用嵌入 统一不同模态的“嵌入表示”

E5-V:多模态大语言模型的通用嵌入 统一不同模态的“嵌入表示”

79 VIEWS
2024年7月22日
Spotify 推出AI 播放列表功能 输入提示即可自动生成播放列表

Spotify 推出AI 播放列表功能 输入提示即可自动生成播放列表

144 VIEWS
2024年4月9日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版