APIGen：生成多样化且可靠的函数调用数据，通过语言指令即可执行功能性API调用

APIGen是一个自动化的数据生成流水线，旨在为函数调用应用程序生成高质量的可验证数据集。 其主要目标是生成多样化且可靠的函数调用数据，这些数据用于训练人工智能模型，使它们能够更好地处理和执行API调用。APIGen通过收集和验证来自不同领域的API，生成丰富的训练数据。 每条数据都经过三个层次的验证：格式检查、实际函数执行和语义验证，确保其可靠性和正确性。通过对600个样本数据点进行人工评估，正确率超过95%。。 APIGen生成的数据集包含60,000个高质量数据点，涵盖3673个API和21个类别，并已公开发布，供研究社区使用。 数据量 ：60,000条数据 API数量 ：3,673个API，覆盖21个类别 查询风格 ：包括并行功能调用数据（要求代理在单个响应中生成多个并发的功能调用），这种数据在公共数据集中很少见。 研究背景：功能调用代理简介 功能调用代理能够从 普通语言指令中执行功能性API调用。 想象一下，当你询问今天Palo Alto的天气时，功能调用代理可以迅速解析这个请求，调用适当的API，例如 get_weather("Palo Alto", "today") ，并获取实时天气数据。 这种先进的能力显著拓宽了大语言模型（LLMs）的实际应用，使它们能够无缝地与各种数字平台互动，从社交媒体到金融服务，极大地提升了我们的数字体验。 基于LLM的函数调用代理的工作流程。

主要特点和应用 语言理解和API调用 ：功能调用代理能够理解用户的自然语言指令，并将其转换为相应的API调用。例如，通过识别用户的天气查询，代理能够构建合适的API请求来获取天气信息。 广泛的应用场景 ：这种技术可以应用于多个领域，包括但不限于： 社交媒体 ：自动发布内容或获取用户数据。 金融服务 ：执行交易、查询账户信息或分析市场数据。 智能助手 ：提供个性化建议、执行日程安排或查询信息。 提升用户体验 ：通过功能调用代理，用户能够更加自然和便捷地与各种服务互动，不再需要手动输入复杂的命令或学习如何使用特定的API。 例子 天气查询 ：用户询问“今天Palo Alto的天气如何？”，功能调用代理解析请求并调用 get_weather("Palo Alto", "today") 获取数据。 金融交易 ：用户命令“买入50股AAPL股票”，代理将其转换为 trade_stock("AAPL", 50, "buy") 并执行交易。 功能调用代理的普及将使大语言模型在日常生活中变得更加实用和强大，为用户提供无缝、高效的数字体验。这不仅包括个人应用，还可以扩展到企业级解决方案，提升业务运营效率和客户满意度。 挑战与解决方案 尽管功能调用代理的受欢迎程度和潜力不断增长，但其部署往往受限于用于训练的数据集质量。目前的数据集大多是静态的，缺乏全面的验证，导致模型微调在实际应用中可能出现不准确和低效的情况。这一限制在模型遇到新的、未见过的API时尤为明显。例如，一个主要训练在餐馆预订API上的模型，在突然需要检索股票市场数据时可能会遇到困难，因为它缺乏相关的训练数据或适应新领域的能力。 为了应对这些挑战，引入了APIGen， 一个用于生成可验证且多样化的功能调用数据集的自动化管道。 该框架旨在通过提供高质量、多样化的数据集，反映真实世界API使用的多样性和复杂性，从而促进功能调用LLMs的微调。关键的是，每个生成的数据点都经过严格的多阶段验证过程（格式、执行和语义），以确保其准确性和适用性。 使用APIGen构建的训练数据训练了两个不同规模的功能调用模型，分别是1.3B和6.7B。广泛的实验表明，6.7B模型在Berkeley功能调用排行榜上排名第六，超越了GPT-4o和Gemini-1.5-Pro，而1.3B模型的性能超过了GPT-3.5-Turbo 主要功能和特点 自动化数据生成 ： APIGen能够自动生成函数调用数据集，覆盖多种API调用场景。 通过统一的JSON格式，标准化API描述和调用，使数据结构清晰且易于处理。 多层数据验证 ： 格式检查 ：验证生成数据的JSON格式是否正确，确保包含所有必要字段和有效参数。 执行检查 ：对生成的函数调用进行实际执行，验证其是否成功，确保函数调用的可执行性和正确性。 语义检查 ：使用另一种语言模型评估执行结果与查询目标的一致性，确保函数调用和结果在语义上符合用户的意图。 数据多样性 ： 查询风格多样性 ：生成的查询和答案对包括简单、多重、并行和并行多重等多种风格。 采样多样性 ：通过随机选择API和示例数据，避免生成重复的模式，确保数据集的广泛覆盖。 API多样性 ：从多个领域收集真实的API，包括Python函数和REST API，确保数据集的多样性和实用性。 可扩展性 ：APIGen使用统一的JSON格式，可以轻松整合来自不同来源的数据，这使得系统可以扩展到不同类型的API，如Python函数和REST API。 APIGen的具体技术方法 APIGen框架由多个模块组成，包括种子数据采样器、API采样器和提示模板库。这些模块协同工作，生成多样化的查询-答案对。 1. 数据生成概述 API和示例数据采样 ： API采样 ：从库中抽取一个或多个API及其描述。 示例数据采样 ：从库中抽取对应的查询-答案对（种子数据），并格式化为标准的JSON格式。 提示模板选择 ： 根据预定的数据生成目标选择适当的提示模板，指导大语言模型（LLM）生成相关的查询-答案对。 每个生成的答案都是一个JSON格式的函数调用。 2. 多阶段数据验证 为了确保数据的质量，APIGen采用了三阶段验证过程： 格式检查（Format Checker） ： 验证生成的数据是否符合预定义的JSON格式，包括是否包含所有必要的字段（如“query”和“answer”）。 检查函数调用的参数是否有效，排除格式不正确或参数无效的数据点。 执行检查（Execution Checker） ： 对通过格式检查的函数调用进行实际执行，验证其是否成功。 对于Python函数，直接在子进程中导入并执行；对于REST API，通过发送请求获取结果和状态码。 过滤掉执行失败的数据点，并提供详细的错误信息（如参数类型错误、无效参数、运行时错误等）。 语义检查（Semantic Checker） ： 使用另一个LLM评估执行结果与查询目标的一致性。 评估要点包括函数调用是否符合查询目标、参数选择是否正确、函数调用次数是否匹配用户意图、执行结果是否成功且相关。 过滤掉语义上不匹配的数据点。 3. 数据多样性提升 为了生成多样化的数据，APIGen框架设计了以下策略： 查询风格多样性 ： 数据集分为四种主要的查询风格：简单（Simple）、多重（Multiple）、并行（Parallel）和并行多重（Parallel Multiple）。 这些风格通过对应的提示模板和种子数据控制，旨在挑战和增强模型在不同使用场景中的能力。 采样多样性 ： API采样器 ：从可执行API库中提取一个或多个函数描述，并标准化为统一的JSON格式。 示例采样器 ：抽取不同类别的种子数据，并转换为结构化的查询、函数描述和答案。 提示采样器 ：从提示模板库中抽取多样的查询-答案对，覆盖从简单到复杂的各种场景。 4. 数据集准备和收集 API来源 ： 主要来源于ToolBench，一个包含16,464个REST API的工具使用数据集，覆盖49个类别。 经过数据质量过滤和可访问性测试，最终选择了3,539个可执行的REST API和134个Python函数。 数据收集设置 ： 使用多个基础LLM生成数据，每个模型生成40,000个数据点，通过不同组合的API、种子数据和提示模板进行采样。 5. 数据发布和实验 数据发布 ： 生成的数据集包含60,000个高质量条目，涵盖3673个API和21个类别。 数据集已公开发布，供研究社区使用。 APIGen 评估结果 APIGen 生成的数据集经过一系列实验和基准测试，展示了其在提升模型性能方面的显著效果。以下是关键评估结果： 评估模型和基准测试 基准测试 ：使用Berkeley函数调用基准测试（Berkeley Function-Calling Benchmark）评估模型性能。 比较模型 ：与多个GPT-4模型进行比较，包括GPT-3.5-Turbo和Claude-3 Haiku。 主要结果 性能提升 ： 训练使用APIGen生成的数据集的模型，在Berkeley函数调用基准测试中达到了最新的性能水平。 即使是只有7B参数的模型，训练后性能也超过了多个GPT-4模型。 1B参数的模型性能超过了GPT-3.5-Turbo和Claude-3 Haiku。 通过率 ： 使用不同基础大语言模型生成的数据点，通过率存在显著差异。 较强的模型（如DeepSeek-V2-Chat和Mixtral-8x22B-Inst）表现出更高的格式遵循能力和通过率。 详细统计 模型 验证数据点数 格式检查失败数 执行检查失败数 语义检查失败数 通过率 DeepSeek-Coder-33B-Inst 13,769 4,311 15,496 6,424 34.42% Mixtral-8x7B-Inst 15,385 3,311 12,341 7,963 38.46% Mixtral-8x22B-Inst 26,384 1,680 5,073 6,863 65.96% DeepSeek-V2-Chat (236B) 33,659 817 3,359 2,165 84.15% 数据集规模和质量 生成数据点数 ：约60,000条高质量函数调用数据。 API覆盖范围 ：涵盖21个类别的3673个多样化API，确保数据集的广泛性和实用性。 结论 APIGen 在数据生成和验证方面表现出色，生成的数据集显著提升了模型在函数调用任务中的性能。通过严格的多层验证过程，APIGen 确保了数据的高质量和可靠性，为函数调用代理模型的发展提供了坚实的基础。公开发布的高质量数据集将为研究社区带来显著的益处，推动该领域的进一步发展。 项目地址： https://apigen-pipeline.github.io/ 论文： https://arxiv.org/pdf/2406.18518 数据集： https://huggingface.co/datasets/Salesforce/xlam-function-calling-60k

Menu

分类目录

APIGen：生成多样化且可靠的函数调用数据，通过语言指令即可执行功能性API调用

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

ChatGPT-Plus：一套完整的AI助手开源方案自带运营管理后台

Ideogram 发布2.0 全新版本写实风格显著提升接近真实照片还能生成网页设计页面

全面了解和掌握 Midjourney 中的各种摄影灯光照明技巧→ 自然采光

Spacetop：世界上首款 AR（增强现实）电脑 100 英寸大屏幕

LoG：百万平方米大场景的3D实时视图合成

打造自己的AI女友：基于Unity开发的Live2D 虚拟人实时聊天系统

TimeUi：简化ComfyUI 动画编辑的时间线节点系统

DiPIR：将任意物体对象插入到图片或视频中并和图像融为一体

Video-MME: 首个多模态大模型视频分析综合评估基准

微软对Azure AI语音服务升级发布9种更真实的AI语音

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

APIGen：生成多样化且可靠的函数调用数据，通过语言指令即可执行功能性API调用

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?