Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home 开源项目案例库 AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

by 小互
2024年12月22日
in AI 项目
0 0
0
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
0
SHARES
428
VIEWS
Share on FacebookShare on Twitter

INFP 由字节跳动开发的一种音频驱动的交互式头部生成框架,主要应用于双人对话场景。意为“在双人对话中基于音频驱动的互动式头像生成”。

它能通过语音输入生成动态头像动画,包括嘴唇同步、面部表情和头部动作。这些生成的头像能自然地模拟对话双方的互动状态,而且能自动切换“说话者”和“倾听者”的角色,也就是两个人对话时,它能自动区分谁在说话,谁在听。

demo-1

INFP 旨在实现:

  • 真实感:生成的头部动画逼真且具有丰富的情感。
  • 交互性:头像动画可以随对话动态调整。
  • 实时性:适合实时场景,例如视频会议、虚拟助手等。
demo-2

INFP 有什么功能?

  1. 动态角色切换
    • 在双人对话中,根据音频自动区分“说话者”和“倾听者”。
    • 生成适合角色的头像动画:
      • 说话者:嘴唇同步语音内容,同时展现自然的头部和表情动作。
      • 倾听者:生成自然的面部反应(如点头、微笑、疑惑)和倾听姿态。
  2. 语音驱动的嘴唇同步
    • 根据语音生成精确的嘴唇运动,与语音内容高度一致。
    • 支持多语言和多种语音节奏。
  3. 头部和表情动画生成
    • 根据语音的节奏和语调生成逼真的头部动作(如点头、转头)和表情变化(如微笑、皱眉)。
    • 动作流畅,表情自然,增强互动体验。
      div-1
      div-2
      div-3

      可以根据不同的音频输入为相同的参考图像生成不同的表情动作视频

  4. 双轨音频支持
    • 接收双轨音频输入(两个人对话时,它能自动区分谁在说话,谁在听。)。
    • 根据每一方的语音特点独立生成对应的动画。
      agent-1

      agent-2
  5. 支持多种头像输入
    • 人类头像:支持从正面、侧面等多角度输入生成动态表现。
    • 非人类头像:例如虚拟角色或卡通形象,也可以适配。
      ood-1

  6. Support authors and subscribe to content

    This is premium stuff. Subscribe to read the entire article.

    Login if you have purchased

    加入会员

    加入会员查看更多会员内容和教程。
    超过1000+的会员内容,每天更新。
    开通会员

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
482
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
336
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
448
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
278
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
614
Gemini Teacher:基于 Gemini 2.0的英语口语练习助手 实时发音纠正和建议
AI 工具

Gemini Teacher:基于 Gemini 2.0的英语口语练习助手 实时发音纠正和建议

2024年12月22日
593

Recommendeds

麻省理工学院发布包含700多项与AI相关风险的数据库

麻省理工学院发布包含700多项与AI相关风险的数据库

155 VIEWS
2024年8月18日
首个 AI 高考评测结果发布 GPT-4o名列第二

首个 AI 高考评测结果发布 GPT-4o名列第二

348 VIEWS
2024年6月19日
Prompt 学习地图 03  | 编写清晰的说明 – 分隔符的重要作用

Prompt 学习地图 03 | 编写清晰的说明 – 分隔符的重要作用

145 VIEWS
2024年3月25日
18 节课教授你开始构建人工智能应用程序所需的一切知识

18 节课教授你开始构建人工智能应用程序所需的一切知识

277 VIEWS
2024年4月3日
BlenderAlchemy:集成GPT-4V 通过聊天形式来进行3D图形编辑

BlenderAlchemy:集成GPT-4V 通过聊天形式来进行3D图形编辑

81 VIEWS
2024年4月30日
Mistral AI推出了更新版的Le Chat 支持在聊天中进行搜索、上传 PDF、编程、图像生成等

Mistral AI推出了更新版的Le Chat 支持在聊天中进行搜索、上传 PDF、编程、图像生成等

161 VIEWS
2024年11月19日
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

336 VIEWS
2024年12月25日
Mistral 推出了其首个多模态模型 Pixtral 12B 可以处理图像和文本任务

Mistral 推出了其首个多模态模型 Pixtral 12B 可以处理图像和文本任务

55 VIEWS
2024年9月12日
AI 应用程序是如何赚钱的?他们的定价模式、价值指标…五个主要发现

AI 应用程序是如何赚钱的?他们的定价模式、价值指标…五个主要发现

239 VIEWS
2024年5月8日
Ebook2Audiobook:将电子书自动转换为有声书 支持语音克隆、多种语言

Ebook2Audiobook:将电子书自动转换为有声书 支持语音克隆、多种语言

402 VIEWS
2024年10月7日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版