ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

ElevenLabs 宣布其开发者平台新增了创建对话式AI代理的功能。

这项新功能允许开发者平台上构建对话式AI代理，支持自定义变量，如语调、响应长度等。

语音语调（Tone of Voice）
用户可以定义AI代理的语音风格。例如，可以设置语音听起来更加专业、友好、正式或休闲，以适应不同的使用场景。比如，客服场景需要友好的语气，而企业汇报可能需要更正式的语调。
响应长度（Response Length）
这一变量决定了AI在对话中提供回答的详细程度。短的回答更适合快速交互，比如问答类对话；而长的回答适合需要详细说明或解释的场景，如技术支持或教育类代理。
定制化对话逻辑
除了语音和响应设置，用户还可以通过平台提供的选项，定义代理的语言模型（如GPT、Claude等）、创造性水平（responses creativity）以及对话持续时间的限制，使代理更加贴合特定的业务或用户需求。
个性化角色设计
用户能够设计代理的初始问候语、角色设定（如客服代表、技术专家），甚至让代理从指定的知识库中获取信息，使其拥有独特的“人格”和专业知识。

通过这些定制化选项，用户可以打造适合不同场景的AI代理，从企业服务到个人助理，为各种应用场景提供更灵活、高效的解决方案。

自定义对话代理
用户可以通过选择模板或创建新项目来设计对话代理，包括：
- 选择主要语言、初始消息和系统提示词来定义代理角色。
- 允许用户选择多种大语言模型来驱动对话式AI代理，例如 Gemini、ChatGPT 或 Claude。同时，用户可以根据需求对这些模型的输出进行调节，如设置响应的创造性程度（temperature）和最大对话长度。
- 调整语音特性、响应延迟、对话稳定性及认证标准。
知识库和集成支持
- 用户可以添加自己的知识库（文件、URL或文本块）来驱动代理的对话能力。
- 支持通过自定义LLM与代理整合，同时兼容Python、JavaScript、React和Swift开发环境。
- 提供WebSocket API以实现更高的定制化。
数据收集与评估
- 企业可以自定义收集客户数据（如姓名、邮箱）和设置自然语言评估标准，衡量对话是否成功。
语音与文本处理增强
- 利用现有文本转语音技术，ElevenLabs同时开发了语音转文本功能，尽管目前尚未作为独立API发布，但未来可能推出，与Google、微软、OpenAI等竞争。