和 GPT 4o 匹敌世界上最快的语音机器实现500毫秒的语音到语音响应

Daily与Cerebrium合作开发的一款语音AI机器人，该机器人能够实现500毫秒的语音到语音响应时间。500毫秒的响应时间接近人类对话的自然速度，使得用户与语音AI机器人的互动更加自然、顺畅。

低延迟的语音AI机器人适用于更多需要即时响应的应用场景，如客户服务、实时翻译和智能助理等。 [video width="720" height="752" mp4="https://img.xiaohu.ai/2024/06/X2Twitter.com_1806600220375195648752p.mp4"][/video] 为达到这种低延迟，开发团队优化了网络架构、AI模型性能和语音处理逻辑。使用WebRTC网络发送音频，部署了Deepgram的快速转录和语音生成模型，并将所有AI模型在Cerebrium的容器中自托管，以减少延迟。

主要技术方法 Daily和Cerebrium团队采用了一系列关键技术方法，以确保实现500毫秒的语音到语音响应时间。这些方法包括网络架构优化、AI模型性能提升、以及高效的语音处理逻辑。 1. 网络架构 WebRTC 网络 ：使用WebRTC网络发送音频，这是目前最快和最可靠的音频和视频传输方式。WebRTC连接优先考虑低延迟，并能够快速适应网络条件的变化。 边缘或网状网络 ：设计网络基础设施，使用户与最近的服务器相连，以减少数据包传输的延迟。 2. AI模型性能 Deepgram 快速转录模型 ：使用Deepgram的Nova-2转录模型， 该模型能够在100毫秒内生成转录片段。 Llama 3 70B 模型 ：使用Llama 3 70B大型语言模型，在NVIDIA H100硬件上运行，采用vLLM推理引擎， 可以在80毫秒内生成首个token。 Deepgram的Aura语音模型 ：该模型在Cerebrium基础设施上运行 ，首字节时间低至80毫秒。 3. 自托管和优化 自托管AI模型 ：将转录、LLM和语音生成模型在Cerebrium容器中自托管，以减少网络请求的延迟并提高性能。 调整LLM以减少延迟，而非追求吞吐量。 避免外部服务网络调用的开销。 精确配置语音活动检测和短语结束点的时序。 高效地在模型之间传输数据。 快速硬件 ：选择和调整低延迟的AI模型，运行在云中的快速硬件上。 4. 整体优化策略 减少网络请求 ：通过在相同的云基础设施中共同定位语音机器人代码、LLM和TTS， 减少50-200毫秒的网络请求延迟。 持续性能调优 ：针对低延迟进行模型调优和配置，优化整个语音到语音响应过程中的各个步骤。 详细介绍： https://www.daily.co/blog/the-worlds-fastest-voice-bot/ GitHub： https://github.com/CerebriumAI/examples/tree/master/18-realtime-voice-agent 在线体验： https://fastvoiceagent.cerebrium.ai/