Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步

by 小互
2024年10月23日
in XiaoHu.AI日报
0 0
0
Runway 推出一款生成式角色表演工具 可以把视频转换成任意风格虚拟角色动画 并且保持表情语音口型同步
0
SHARES
470
VIEWS
Share on FacebookShare on Twitter

Runway 推出的一款生成式角色表演工具,Act-One可以通过使用视频和语音输入生成逼真的角色表演,是一种利用生成式模型创建真人动画和动画内容的新方法。

  • 轻松制作角色动画:只需要用摄像头录下演员的表演,Act-One 就能把视频转换成虚拟角色的动画,比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。
  • 简单快捷:传统动画制作需要专门的设备和复杂的步骤,比如动作捕捉或面部建模,但用 Act-One,只要一台普通摄像头就能生成逼真的角色动画,大大简化了流程。
  • 多种角色风格:Act-One 可以根据不同的参考图像,把同一个演员的表演变成各种风格的角色,无论是卡通还是逼真风格都可以。
video-02

Act-One 的核心功能与能力

1. 生成逼真的角色表演

  • 输入类型:Act-One以视频和语音作为输入,通过演员的现场表演来驱动虚拟角色的动作和表情。
  • 输出表现:它能生成动态的角色动画,保留演员的眼神、微表情、语调和动作节奏,确保最终生成的角色表现具备真实情感。
act-one-026

仅使用演员表演的简单视频即可将角色转换成生成动画风格。

Act-One-000

视线、微表情、节奏和表达都忠实地呈现在最终生成的输出中。

2. 简化面部动画流程

  • 传统的面部动画通常需要复杂的动作捕捉设备、手动面部建模和多步流程。而Act-One只需要单一摄像头捕捉演员表演,即可生成虚拟角色动画,极大简化了动画制作过程。
  • 不需要额外的设备或手动面部建模,大幅降低了制作门槛。
act-one-grid-op

使用简单的单摄像机设置捕捉演员的表演,可用于为生成的角色制作动画。

act-one-022

一个简单的家用摄像机设置可以捕捉演员的表演,从而为生成的角色制作动画。能保持声音同步和嘴型同步

3. 支持多样化角色表现

  • Act-One 能够处理各种不同类型的角色,并将演员的表演准确转换为不同比例、不同风格的虚拟角色。这意味着,用户可以基于一个表演生成多种角色动画,从而实现更具创意的角色设计和演绎。

act-one-031
act-one-032
act-one-028

视频输入生成多种风格的角色动画

4. 多轮对话场景的生成

  • Act-One 支持创建复杂的多轮对话场景,这在以前的生成式视频模型中较为困难。用户只需使用一个演员和一台摄像机,即可演绎多个角色的对话,并通过生成的虚拟角色实现多角色互动。
BTS+Act-One

使用单个演员和摄像机设置一起编辑的多机位对话场景,以驱动两个独特的生成角色的表演。

5. 灵活的创意应用

  • 工具的强大之处在于其多摄像机的对话场景处理能力,通过单一摄像机和演员实现多个角色的表演和编辑。
  • 家庭摄像头生成动画:用户仅需在家用摄像头前进行表演,Act-One 就能生成专业级别的动画。
  • 多模态输出:无论是单个角色的动画,还是包含多个角色的叙事场景,Act-One都能通过同一段表演生成多种不同风格和场景的角色表现。
act-one-020

Act-One 的应用场景

  • 电影与动画制作:为创作者提供更高效的面部动画工具,适用于电影、短片、广告等的动画生成。
  • 角色设计与开发:可以快速生成具有不同风格和表情的角色样本,帮助游戏开发者和艺术家快速创建角色原型。
  • 叙事与创意内容:支持创作者用简单的设备生成多角色叙事视频,特别适合叙事性强的创意内容和社交媒体视频。

官方介绍:https://runwayml.com/research/introducing-act-one

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
476
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
331
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
444
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
276
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
607
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
423

Recommendeds

将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法

将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法

132 VIEWS
2024年5月10日
Jina AI 推出专门将原始 HTML 转换为干净的 Markdown 的小型语言模型

Jina AI 推出专门将原始 HTML 转换为干净的 Markdown 的小型语言模型

447 VIEWS
2024年9月13日
全面了解和掌握 Midjourney 中的各种摄影灯光照明技巧→ 自然采光

全面了解和掌握 Midjourney 中的各种摄影灯光照明技巧→ 艺术光照

128 VIEWS
2024年4月26日
JetMoE-8B:不到10万美元的训练成本 性能却超越LLaMA2-7B

JetMoE-8B:不到10万美元的训练成本 性能却超越LLaMA2-7B

104 VIEWS
2024年4月16日
腾讯云媒体服务发布一个基于Web 3D技术构建的在线互动平台:3D虚拟展厅

腾讯云媒体服务发布一个基于Web 3D技术构建的在线互动平台:3D虚拟展厅

334 VIEWS
2024年8月30日
苹果发布多模态大语言模型MM1 并公布训练方法和技术细节

苹果发布多模态大语言模型MM1 并公布训练方法和技术细节

25 VIEWS
2024年3月17日
微软开发出数据驱动的AI天气预测模型 能准确预报未来 30 天天气情况

微软开发出数据驱动的AI天气预测模型 能准确预报未来 30 天天气情况

322 VIEWS
2024年5月5日
MistoLine:将手绘的草图直接生成符合草图轮廓的高质量图像

MistoLine:将手绘的草图直接生成符合草图轮廓的高质量图像

284 VIEWS
2024年5月8日
MeloTTS:支持中英混合发音 的多语言文本到语音(TTS)库

MeloTTS:支持中英混合发音 的多语言文本到语音(TTS)库

332 VIEWS
2024年2月27日
SST:对情感的高维度理解和映射 让机器更真实地模拟人类情感

SST:对情感的高维度理解和映射 让机器更真实地模拟人类情感

91 VIEWS
2024年3月11日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版