微软文本转语音虚拟数字人功能上线可以创建实时互动的数字人

Azure的文本转语音虚拟形象功能允许用户通过输入文本来创建说话的虚拟形象视频。这些虚拟形象使用高级神经网络模型进行训练，能够生成逼真、高质量的合成视频。 支持多种语言和声音，用户可以选择预生成的虚拟形象或创建自定义的虚拟形象。无论是批量合成还是实时合成，用户都可以通过简单的工具或API来创建高质量的视频。虚拟形象的视频可以异步合成或实时合成，适用于各种应用场景。 传统的视频内容创建需要大量的时间和预算，包括设置视频拍摄环境、拍摄视频和编辑等。通过文本到语音头像，用户可以更高效地创建视频，如培训视频、产品介绍、客户推荐等，只需通过文本输入即可。 随着Azure OpenAI服务和神经文本到语音的发布，交互式对话变得更加自然。文本到语音头像可以用于创建更具吸引力的数字互动，如对话代理、虚拟助手、聊天机器人等。 无缝通话体验 ：通过点击按钮开始与虚拟形象的通话，体验自然流畅。 低延迟 ：减少通话延迟，保证高质量的互动体验。 多样化声音选择 ：用户可以选择不同的声音、音调、口音和个性，打造独特的虚拟形象。 主要功能 自然声音视频 ：将文本转换为自然声音说话的数字人视频。 预生成虚拟形象 ：提供预生成虚拟形象的集合，用户可选择使用。 多种语言支持 ：支持与文本转语音相同的多种语言和声音，包括英语、中文、西班牙语等。 批量和实时合成 ：支持1920 x 1080分辨率、每秒25帧的视频合成，批量合成支持h264/h265/vp9编解码器，实时合成支持h264编解码器。 自定义虚拟形象 ：用户可以创建自定义的文本转语音虚拟形象，只需录制10分钟的视频，并可选择自定义神经网络声音。 实时互动 ： 在Speech Studio中提供的实时聊天虚拟形象工具，可以实现实时虚拟形象对话。 高质量视频输出 ： 支持高清分辨率和多种编解码器，用户可以配置视频比特率以满足不同需求。 无代码创建工具 ：Speech Studio提供内容创建工具，无需编码即可创建视频内容。 主要组件 文本到语音头像内容生成流程包括三个组件：文本分析器、TTS音频合成器和TTS头像视频合成器。 生成头像视频的步骤如下： 文本输入到文本分析器，生成音素序列。 TTS音频合成器根据输入文本预测声学特征并合成声音。 神经文本到语音头像模型根据声学特征预测唇形同步的图像，从而生成合成视频。 有了文本到语音化身，您就可以使用预置或自定义创建引人入胜的头像数字人视频，如培训视频、演示视频等。

您还可以为客户、员工和其他受众提供丰富的互动化身应用程序，从而为他们创造引人入胜的体验。

吸引人的数字人视频体验通常由多个元素组成，包括会说话的头像视频、背景图像或视频、环境音乐和其他使视频丰富多彩的元素。 这是创建丰富化身视频的简单工作流程： 预建文本到语音头像 ：微软提供预建文本到语音头像作为Azure的开箱即用产品。这些头像可以根据文本输入说不同的语言和声音。客户可以选择一个头像用于创建视频内容或实时互动应用。 自定义文本到语音头像 ：客户可以创建个性化的头像，用于其产品或品牌。客户可以上传自己的头像视频录制，系统将使用这些视频训练生成自定义头像视频。客户可以选择预建或自定义的神经语音为其头像配音。 视频内容创建的流程 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/6月29日-1-1.mp4"][/video] 1. 准备讲稿： 文本格式 ：可以使用纯文本格式编写讲稿。 SSML格式 ：使用语音合成标记语言 (SSML) 精细调整头像的语音，包括发音和特殊术语的表达，例如品牌名称。此外，还可以包括特定手势（如挥手或指向某物）。 2. 生成SSML输入文件： 使用Speech Studio的音频内容创建工具，提供直观的用户界面来创建用于头像视频的SSML输入文件。 3. 使用Azure TTS 3.1 API合成头像视频： 除了SSML输入外，还可以指定头像的角色和风格（例如站立或坐着）以及所需的视频格式（例如透明背景）。 Speech Studio中的文本到语音头像工具还提供了无代码选项来创建头像视频。 4. 添加内容图像或视频： 将文本、插图、动画等内容图片或视频添加到最终的头像视频中。 在这个示例中，我们将一个动画PowerPoint演示导出为高分辨率视频，用于此目的。 5. 组合所有素材： 将头像视频、内容图像或视频和可选元素（如背景音乐）组合成丰富的视频体验。 这可以使用FFmpeg工具完成，或者使用视频编辑器（如Microsoft Clipchamp）来进行更精细的控制。 使用视频编辑器可以直观地微调视频的时间安排，添加引人入胜的效果和动画。 互动头像体验的流程 1. 设置头像互动应用： 用户界面 ：创建一个JavaScript用户界面，使其与Azure AI Speech和其他组件进行通信。该界面可以在Azure静态Web应用程序中运行。 后台服务 ：使用Python编写的后台服务协调Azure OpenAI服务、Azure AI搜索和其他数据源之间的通信。 2. 语音对话功能： 多语言对话 ：客户可以使用多种语言与购物助手头像进行语音对话。 GPT-3.5模型 ：互动头像利用Azure OpenAI服务的GPT-3.5模型来响应客户查询。 3. 数据访问与事务处理： 数据源查询 ：Azure OpenAI服务会根据需要自动查询产品知识库或执行数据库事务。查询内容包括产品信息、客户账户信息（如订单状态和可用积分）等。 实时业务交易 ：确保库存充足的情况下，实时处理业务交易（如下订单）。 4. 组合应用组件： Azure AI Search ：用作产品知识库，存储和检索产品信息。 Azure SQL Database ：管理客户数据，处理订单和账户信息。 Azure Storage ：存储产品图像等媒体资源。 5. 示例应用： 户外设备在线商店 ：一个互动演示，展示一个虚拟销售代理如何回答客户关于产品和账户的问题，并执行订单下达。 多语言对话 ：客户可以使用多种语言与购物助手互动。 业务逻辑 ：使用Azure OpenAI服务的函数调用来处理查询和业务交易。 6. 创建自己的应用： 示例资源 ：可以在 GitHub 上找到创建互动头像应用的资源。 自定义解决方案 ：根据具体需求定制解决方案。 应用场景 ：利用互动头像技术为客户提供更自然、更高效的服务体验，例如银行客户服务、品牌助手等。 互动体验示例： 一个虚拟销售代理在户外设备在线商店中回答客户问题，并帮助下订单。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/6月29日-3-1.mp4"][/video] 详细介绍： https://learn.microsoft.com/ 文本转语音虚拟形象演示： https://speech.microsoft.com/portal/talkingavatar

实时聊天头像演示： https://speech.microsoft.com/portal/livechat

英文

[video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/English.mp4"][/video] 中文

[video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/Chinese.mp4"][/video] 尝试 Speech Studio 数字人： https://speech.microsoft.com/portal Azure AI Speech 的最新更新 增强了文本转语音的功能，使聊天机器人体验更加生动和逼真。这些更新包括：

更广泛的多语言语音选择，提供自然和真实的互动； 更多预构建化身选项，并提供最新的示例代码以实现与 GPT-4o 的无缝集成； 新的文本流 API 大大降低了 ChatGPT 集成的延迟，确保更顺畅、更快速的响应。 新功能与更新： Azure OpenAI GPT-4o模型集成： GPT-4o模型现已集成到Speech Studio中的实时聊天化身应用中。 用户可以亲眼看到实时聊天化身和Azure OpenAI GPT-4o的协同工作。 提供示例代码，帮助将文本转语音化身与GPT-4o模型集成。 Azure OpenAI On Your Data： 允许用户根据其独特的数据源定制聊天机器人的响应。 适用于处理客户特定问题的基于化身的实时聊天应用程序。 提供了使用Azure OpenAI On Your Data创建实时聊天应用的指南和示例代码。 请参考 此示例代码 （搜索“On Your Data”） 示例代码与资源： 提供JS和Python代码示例，帮助用户将文本转语音化身与GPT-4o模型集成。 通过搜索“On Your Data”，可以找到相关的示例代码，展示如何使用Azure OpenAI根据自定义数据源创建响应。 （ JS 代码示例 和 Python 代码示例 ） 官方提供了五种新的头像，既可用于批量合成，也可用于实时对话场景。 应用场景： 客户服务机器人 ：能够处理多种客户问题并提供自然的对话体验。 虚拟助手 ：为用户提供日常帮助和信息。 AI教育者 ：为学生提供个性化的教育内容和互动。 虚拟导游 ：为游客提供实时信息和导览服务。 优势： 提供逼真的互动体验，接近人类对话。 能够处理客户特定的问题，提高客户满意度和服务质量。 通过定制化的响应，满足企业客户的独特需求。 更新内容： https://techcommunity.microsoft.com/t5/ai-azure-ai-services-blog/make-your-voice-chatbots-more-engaging-with-new-text-to-speech/ba-p/4178463