谷歌开发出一个实时语音转换系统在不改变语音内容和语调的情况下改变说话者音色

StreamVC 是由Google开发的一个实时语音转换系统，可以在 不改变语音内容和语调的情况下，改变说话者的音色 。它可以在手机上运行，并适用于电话和视频会议等实时通信场景，还能实现语音匿名化。

StreamVC 解决了以前语音转换方法中存在的质量差、延迟高的问题，使得语音转换可以在移动设备上实时进行，并保证高质量的转换效果。

StreamVC 解决了以下几个关键问题：

高延迟问题 ：传统的语音转换方法通常有较高的延迟，难以适用于实时通信。StreamVC 通过使用因果卷积网络和优化的神经音频编解码器，实现了低延迟的实时语音转换，在移动设备上运行的端到端延迟仅为70.8毫秒。

音质问题 ：早期的语音转换方法往往会导致语音质量下降，有明显的音质损失。StreamVC 采用了先进的语音合成技术，保证了转换后的语音高质量，听起来更加自然。

音调稳定性问题 ：在语音转换过程中，保持音调的稳定性是一个挑战。StreamVC 引入了白化的基频（f0）信息，显著提高了音调的一致性，使转换后的语音音调更加稳定和自然。

资源消耗问题 ：许多语音转换技术在实际应用中由于计算资源消耗大而难以在移动设备上实现。StreamVC 通过优化的网络架构和训练策略，降低了计算资源需求，使其能够在移动设备上高效运行。

[video width="1440" height="1080" mp4="https://img.xiaohu.ai/2024/07/Area715.mp4"][/video] 主要功能 1. 实时语音转换 StreamVC 能够实时将一个人的语音转换为另一个人的音色，同时保留语音的内容和语调。该系统适用于需要即时语音处理的应用场景，如电话、视频会议和在线交流等。实时语音转换的主要特点包括： 即时响应 ：语音输入后几乎立即产生输出，确保用户在实时交流中不会感到延迟。 高精度 ：通过先进的神经网络模型，精确捕捉和转换语音中的细微特征。 2. 低延迟处理 低延迟是 StreamVC 的核心优势之一。具体性能指标包括： 端到端延迟 ：在 Pixel 7 智能手机上的端到端延迟为 70.8 毫秒。这意味着用户在说话时，几乎可以即时听到转换后的语音。 流式处理 ：使用流式感知卷积模块，确保语音转换过程中没有明显的延迟或中断。 3. 高质量语音合成 StreamVC 采用了 SoundStream 神经音频编解码器，提供高质量的语音合成。特点包括：

自然的语音输出 ：生成的语音听起来与人类语音非常接近，没有明显的人工合成痕迹。 清晰的语音质量 ：在转换过程中保留了语音的清晰度，确保内容易于理解。 4. 语音匿名化 StreamVC 支持语音匿名化，将用户的语音转换成不同的音色，从而保护用户的隐私。这一功能特别适用于：

隐私保护 ：在需要保护用户身份的场景中使用，例如匿名电话或在线咨询。 多样化音色选择 ：用户可以选择多种不同的音色，确保匿名效果。 5. 音调稳定性 通过注入白化的基频（f0）信息，StreamVC 提高了音调的一致性，主要特点包括： 一致的音调 ：转换后的语音在音调上保持一致，不会出现不自然的音高变化。 自然的语音表达 ：确保语音在转换后仍然具有自然的音调和语调，提升用户体验。 6. 适应多种场景 StreamVC 可广泛应用于多种实时通信场景，主要应用场景包括：

电话会议 ：在企业电话会议中使用，转换语音以保护与会者的隐私。 视频通话 ：在视频通话中使用，实时改变语音音色以达到特定效果。 在线游戏 ：在多人在线游戏中使用，改变玩家的语音音色以增强游戏体验。 7. 可在移动设备上运行 StreamVC 的设计优化了计算资源，使其能够高效地在移动设备上运行。主要特点包括：

轻量级架构 ：使用因果卷积网络，降低了计算复杂度，适合在移动设备上实时运行。 高效的计算资源利用 ：通过优化的网络架构和训练策略，确保在移动设备上高效运行，适用于实际应用。 工作原理和技术方法 1. 工作原理 内容编码 ：提取语音内容信息，确保在转换过程中保留语音的原始语言内容。 说话者编码 ：捕捉目标说话者的音色特征，将其应用于输入语音。 基频和能量估计 ：估计输入语音的基频和能量信息，以提高转换后语音的自然度和一致性。 解码 ：结合内容信息和说话者特征，生成转换后的语音。 2. 技术方法 StreamVC 采用了一系列先进的技术方法来实现高效、低延迟和高质量的语音转换。

2.1 内容编码器 因果卷积网络 ：StreamVC 使用轻量级因果卷积网络来捕捉软语音单元信息。这种方法比传统的非因果多层 Transformer 网络计算需求更低，更适合实时处理。 HuBERT 模型 ：利用预训练的 HuBERT 模型从输入语音中提取伪标签，这些标签用于训练内容编码器，以提取语音内容特征。 2.2 说话者编码器 每帧编码 ：使用与 SoundStream 编码器类似的设计，每帧生成嵌入向量。 全局上下文聚合 ：通过注意力机制将每帧的嵌入向量聚合成全局上下文向量，捕捉整个语音片段的说话者特征。 2.3 基频和能量估计 Yin 算法 ：采用 Yin 算法进行基频估计，得到基频信息以及其他相关参数（如累积均值归一化差值和无声信号预测）。 基频白化 ：为避免基频信息泄露源说话者的音色特征，对基频进行归一化处理。在训练时使用全局均值和标准差，流式推理时使用运行平均值。 2.4 解码器 SoundStream 解码器 ：采用 SoundStream 解码器设计，通过 Feature-wise Linear Modulation (FiLM) 层在残差单元之间集成说话者特征信息。 条件信号集成 ：使用 FiLM 层将说话者嵌入向量作为条件信号集成到解码过程中，确保生成的语音保留目标说话者的音色特征。 3. 训练策略 StreamVC 的训练策略包括以下几个方面：

软标签创建 ：从 HuBERT 模型的第七层激活中提取特征，并通过 mini-batch k-means 聚类生成 100 个伪标签，用于训练内容编码器。 多重损失函数 ：结合对抗性（GAN）损失、特征损失和重建损失，以及内容编码器的交叉熵损失，确保模型能够学习到高质量的语音转换。 梯度屏蔽 ：避免解码器的梯度流回内容编码器，确保内容编码器不会泄露额外的说话者信息。 4. 实时推理 流式推理 ：利用流式感知卷积模块，实现低延迟的实时推理。所有卷积层均为因果卷积，保证了推理过程中的实时性。 架构延迟和计算延迟 ：通过优化网络架构和计算资源，StreamVC 在 Pixel 7 智能手机上的端到端延迟仅为 70.8 毫秒，确保了实时语音转换的高效性。 实验结果 StreamVC 通过一系列实验验证了其性能，并与几种基准模型进行了比较。以下是实验的详细结果：

1. 评估指标 实验中使用了四个主要评估指标：

自然度（DNSMOS评分） ：包括信号质量（SIG）、背景噪声（BAK）和整体评分（OVRL）。 可懂度 ：通过词错误率（WER）和字符错误率（CER）评估。 说话者相似度 ：使用 Resemblyzer 评分进行评估。 基频一致性（f0 PCC） ：通过皮尔逊相关系数（PCC）评估转换后语音的基频一致性。 2. 基准模型 实验选择了四种基准模型进行比较：

VQMIVC [3] BNE-PPG-VC [6] Diff-VCTK [22] QuickVC [9] 这些基准模型均在VCTK数据集上进行了训练。

3. 评估数据集 训练数据集 ：使用 LibriTTS 的 train-clean-100 子集进行训练，训练集包含来自2311位说话者的555.15小时的语音数据。 测试数据集 ：使用 LibriTTS 的 test-clean 子集作为源语音，选择 VCTK 数据集中的6位说话者（3男3女）作为目标说话者。 4. 实验结果 模型 SIG BAK OVRL WER CER 说话者相似度 f0 PCC VQMIVC [3] 3.36 3.29 3.86 57.88% 35.50% 65.72% 0.680 BNE-PPG-VC [6] 3.54 3.42 3.89 11.43% 5.24% 80.17% 0.723 Diff-VCTK [22] 3.57 3.60 4.11 11.64% 4.38% 84.23% 0.219 QuickVC [9] 3.61 3.59 4.08 6.30% 3.03% 78.51% 0.758 StreamVC (LibriTTS) StreamVC（LibriTTS） 3.57 3.53 4.07 6.22% 2.17% 77.81% 0.842 + fine-tuning on VCTK + 在 VCTK 上微调 3.56 3.48 4.02 6.54% 2.25% 80.34% 0.727 5. 结果观察 自然度（DNSMOS评分） ： StreamVC 的 SIG、BAK 和 OVRL 评分分别为 3.57、3.53 和 4.07，表现与最佳基准模型相当。 可懂度 ： StreamVC 在词错误率（6.22%）和字符错误率（2.17%）方面表现最佳，显著优于其他基准模型。 说话者相似度 ： StreamVC 的说话者相似度评分为 77.81%，略低于 BNE-PPG-VC 和 Diff-VCTK，但通过在 VCTK 数据集上微调后，评分提升至 80.34%。 基频一致性（f0 PCC） ： StreamVC 的 f0 PCC 评分为 0.842，显著高于其他所有基准模型，表明其在音调一致性方面具有显著优势。 6. 消融研究 为了验证基频注入和基频白化的有效性，进行了两项消融研究：

去掉基频白化 ： 去掉基频白化后，f0 PCC 从 0.842 降至 0.704，表明基频白化在提高音调一致性方面的重要性。 去掉基频信息 ： 去掉基频信息后，f0 PCC 降至 0.461，转换后的语音音调平坦，验证了基频信息对音调自然度的重要性。 论文： https://arxiv.org/pdf/2401.03078 演示： https://google-research.github.io/seanet/stream_vc/