Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步

by 小互
2024年10月23日
in XiaoHu.AI日报
0 0
0
Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步
0
SHARES
471
VIEWS
Share on FacebookShare on Twitter

Runway 推出的一款生成式角色表演工具,Act-One可以通过使用视频和语音输入生成逼真的角色表演,是一种利用生成式模型创建真人动画和动画内容的新方法。

  • 轻松制作角色动画:只需要用摄像头录下演员的表演,Act-One 就能把视频转换成虚拟角色的动画,比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。
  • 简单快捷:传统动画制作需要专门的设备和复杂的步骤,比如动作捕捉或面部建模,但用 Act-One,只要一台普通摄像头就能生成逼真的角色动画,大大简化了流程。
  • 多种角色风格:Act-One 可以根据不同的参考图像,把同一个演员的表演变成各种风格的角色,无论是卡通还是逼真风格都可以。
video-02

Act-One 的核心功能与能力

1. 生成逼真的角色表演

  • 输入类型:Act-One以视频和语音作为输入,通过演员的现场表演来驱动虚拟角色的动作和表情。
  • 输出表现:它能生成动态的角色动画,保留演员的眼神、微表情、语调和动作节奏,确保最终生成的角色表现具备真实情感。
act-one-026

仅使用演员表演的简单视频即可将角色转换成生成动画风格。

Act-One-000

视线、微表情、节奏和表达都忠实地呈现在最终生成的输出中。

2. 简化面部动画流程

  • 传统的面部动画通常需要复杂的动作捕捉设备、手动面部建模和多步流程。而Act-One只需要单一摄像头捕捉演员表演,即可生成虚拟角色动画,极大简化了动画制作过程。
  • 不需要额外的设备或手动面部建模,大幅降低了制作门槛。
act-one-grid-op

使用简单的单摄像机设置捕捉演员的表演,可用于为生成的角色制作动画。

act-one-022

一个简单的家用摄像机设置可以捕捉演员的表演,从而为生成的角色制作动画。能保持声音同步和嘴型同步

3. 支持多样化角色表现

  • Act-One 能够处理各种不同类型的角色,并将演员的表演准确转换为不同比例、不同风格的虚拟角色。这意味着,用户可以基于一个表演生成多种角色动画,从而实现更具创意的角色设计和演绎。

act-one-031
act-one-032
act-one-028

视频输入生成多种风格的角色动画

4. 多轮对话场景的生成

  • Act-One 支持创建复杂的多轮对话场景,这在以前的生成式视频模型中较为困难。用户只需使用一个演员和一台摄像机,即可演绎多个角色的对话,并通过生成的虚拟角色实现多角色互动。
BTS+Act-One

使用单个演员和摄像机设置一起编辑的多机位对话场景,以驱动两个独特的生成角色的表演。

5. 灵活的创意应用

  • 工具的强大之处在于其多摄像机的对话场景处理能力,通过单一摄像机和演员实现多个角色的表演和编辑。
  • 家庭摄像头生成动画:用户仅需在家用摄像头前进行表演,Act-One 就能生成专业级别的动画。
  • 多模态输出:无论是单个角色的动画,还是包含多个角色的叙事场景,Act-One都能通过同一段表演生成多种不同风格和场景的角色表现。
act-one-020

Act-One 的应用场景

  • 电影与动画制作:为创作者提供更高效的面部动画工具,适用于电影、短片、广告等的动画生成。
  • 角色设计与开发:可以快速生成具有不同风格和表情的角色样本,帮助游戏开发者和艺术家快速创建角色原型。
  • 叙事与创意内容:支持创作者用简单的设备生成多角色叙事视频,特别适合叙事性强的创意内容和社交媒体视频。

官方介绍:https://runwayml.com/research/introducing-act-one

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
483
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
337
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
449
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
278
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
616
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
428

Recommendeds

苹果开发出能 “看 “懂屏幕上下文的人工智能 不需要依赖屏幕截图

苹果开发出能 “看 “懂屏幕上下文的人工智能 不需要依赖屏幕截图

357 VIEWS
2024年4月3日
微软开源下一代RAG技术:GraphRAG 利用知识图谱大幅增强语言模型能力

微软开源下一代RAG技术:GraphRAG 利用知识图谱大幅增强语言模型能力

1.1k VIEWS
2024年7月9日
Live_Portrait_Monitor :利用摄像头驱动静态图像转换为实时动态视频

Live_Portrait_Monitor :利用摄像头驱动静态图像转换为实时动态视频

303 VIEWS
2024年7月22日
LongWriter:让LLMs能够生成超过 10000 字甚至20000 字连贯高质量的文本

LongWriter:让LLMs能够生成超过 10000 字甚至20000 字连贯高质量的文本

609 VIEWS
2024年8月19日
Sketch 推出 Smart Animate 新功能 可在原型设计中加入流畅的动画效果

Sketch 推出 Smart Animate 新功能 可在原型设计中加入流畅的动画效果

212 VIEWS
2024年9月23日
Sonic:基于状态空间模型的低延迟实时推理语音生成模型

Sonic:基于状态空间模型的低延迟实时推理语音生成模型

128 VIEWS
2024年5月31日
Hume AI 推出 Voice Control 功能 通过滑块操作即可实现个性化的语音定制

Hume AI 推出 Voice Control 功能 通过滑块操作即可实现个性化的语音定制

249 VIEWS
2024年12月3日
教程:只需合适的提示词 使用 ChatGPT 在 Blender 中创建3D场景

教程:只需合适的提示词 使用 ChatGPT 在 Blender 中创建3D场景

211 VIEWS
2024年6月5日
Anthropic 发布Claude 3.5 Sonnet最新模型 与GPT 4o不相上下 可在聊天窗口运行代码

Anthropic 发布Claude 3.5 Sonnet最新模型 与GPT 4o不相上下 可在聊天窗口运行代码

580 VIEWS
2024年6月20日
如何将自己融入到一幅 Midjourney 生成的图片中,并使其动画化

如何将自己融入到一幅 Midjourney 生成的图片中,并使其动画化

369 VIEWS
2024年5月27日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版