Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home 开源项目案例库 AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

by 小互
2024年12月22日
in AI 项目
0 0
0
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
0
SHARES
428
VIEWS
Share on FacebookShare on Twitter

INFP 由字节跳动开发的一种音频驱动的交互式头部生成框架,主要应用于双人对话场景。意为“在双人对话中基于音频驱动的互动式头像生成”。

它能通过语音输入生成动态头像动画,包括嘴唇同步、面部表情和头部动作。这些生成的头像能自然地模拟对话双方的互动状态,而且能自动切换“说话者”和“倾听者”的角色,也就是两个人对话时,它能自动区分谁在说话,谁在听。

demo-1

INFP 旨在实现:

  • 真实感:生成的头部动画逼真且具有丰富的情感。
  • 交互性:头像动画可以随对话动态调整。
  • 实时性:适合实时场景,例如视频会议、虚拟助手等。
demo-2

INFP 有什么功能?

  1. 动态角色切换
    • 在双人对话中,根据音频自动区分“说话者”和“倾听者”。
    • 生成适合角色的头像动画:
      • 说话者:嘴唇同步语音内容,同时展现自然的头部和表情动作。
      • 倾听者:生成自然的面部反应(如点头、微笑、疑惑)和倾听姿态。
  2. 语音驱动的嘴唇同步
    • 根据语音生成精确的嘴唇运动,与语音内容高度一致。
    • 支持多语言和多种语音节奏。
  3. 头部和表情动画生成
    • 根据语音的节奏和语调生成逼真的头部动作(如点头、转头)和表情变化(如微笑、皱眉)。
    • 动作流畅,表情自然,增强互动体验。
      div-1
      div-2
      div-3

      可以根据不同的音频输入为相同的参考图像生成不同的表情动作视频

  4. 双轨音频支持
    • 接收双轨音频输入(两个人对话时,它能自动区分谁在说话,谁在听。)。
    • 根据每一方的语音特点独立生成对应的动画。
      agent-1

      agent-2
  5. 支持多种头像输入
    • 人类头像:支持从正面、侧面等多角度输入生成动态表现。
    • 非人类头像:例如虚拟角色或卡通形象,也可以适配。
      ood-1

  6. Support authors and subscribe to content

    This is premium stuff. Subscribe to read the entire article.

    Login if you have purchased

    加入会员

    加入会员查看更多会员内容和教程。
    超过1000+的会员内容,每天更新。
    开通会员

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
482
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
336
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
448
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
278
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
614
Gemini Teacher:基于 Gemini 2.0的英语口语练习助手 实时发音纠正和建议
AI 工具

Gemini Teacher:基于 Gemini 2.0的英语口语练习助手 实时发音纠正和建议

2024年12月22日
593

Recommendeds

NotebookLlama:Meta 发布了一个通过Llama从 PDF 文件生成播客的引导式教程

NotebookLlama:Meta 发布了一个通过Llama从 PDF 文件生成播客的引导式教程

266 VIEWS
2024年10月28日
Perplexity AI推出可以将你的答案一键生成博客、文章的工具:Perplexity Pages

Perplexity AI推出可以将你的答案一键生成博客、文章的工具:Perplexity Pages

450 VIEWS
2024年5月31日
Multi-LoRA:动态集成多个LoRAs 来精确控制图像的生成过程

Multi-LoRA:动态集成多个LoRAs 来精确控制图像的生成过程

126 VIEWS
2024年3月2日
根据文本提示生成API 两名高中生创建的 AI 初创公司 获得50万美元投资

根据文本提示生成API 两名高中生创建的 AI 初创公司 获得50万美元投资

509 VIEWS
2024年7月28日
Meditron:基于 Llama 完全开源的医学大语言模型 性能优于所有开源模型

Meditron:基于 Llama 完全开源的医学大语言模型 性能优于所有开源模型

630 VIEWS
2024年4月30日
Infinity AI:只需要输入剧本内容,即可一键生成电影

Infinity AI:只需要输入剧本内容,即可一键生成电影

836 VIEWS
2024年4月4日
Adobe Premiere Pro 引入 AI 视频编辑和Sora等AI视频模型

Adobe Premiere Pro 引入 AI 视频编辑和Sora等AI视频模型

540 VIEWS
2024年4月16日
Linly-Dubbing:一个开源的多语言AI配音和视频翻译工具

Linly-Dubbing:一个开源的多语言AI配音和视频翻译工具

594 VIEWS
2024年8月16日
ChatGPT 帮我制定护肤方案   两个月让我的皮肤变成了这样…

ChatGPT 帮我制定护肤方案 两个月让我的皮肤变成了这样…

742 VIEWS
2024年11月12日
Xiaoju Survey:一个开源的多功能调查问卷系统 内置40多种题型 100多个模板

Xiaoju Survey:一个开源的多功能调查问卷系统 内置40多种题型 100多个模板

382 VIEWS
2024年6月17日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版