Apple Intelligence背后基础模型：一个约30亿参数的设备端模型和一个服务器端大模型

苹果介绍了其在基础生成模型，这些模型是 Apple Intelligence 系统的核心，深度集成在 iOS 18、iPadOS 18 和 macOS Sequoia 中。苹果 的基础生成模型包括一个约 30 亿参数的设备端语言模型和一个更大的基于服务器的语言模型。 这两个基础模型是苹果创建的支持用户和开发者的更大生成模型家族的一部分；这包括用于在Xcode中构建智能的编码模型，以及帮助用户在例如Messages应用中进行视觉表达的扩散模型。 模型的开发和优化 预训练 训练框架 ：模型在 Apple 的 AXLearn 框架上训练，该框架基于 JAX 和 XLA 构建，能够高效扩展训练硬件和云平台。 数据并行性 ：通过数据并行、张量并行、序列并行和完全分片数据并行（FSDP）等方法，扩展数据、模型和序列长度。 数据来源 ：模型使用经过授权的数据和 AppleBot 收集的公开数据，确保不使用用户的私人数据进行训练，并过滤个人身份信息和低质量内容。 后训练 数据质量 ：通过人类注释和合成数据的混合策略进行数据过滤和质量控制。 算法优化 ：采用两种新算法进行后训练：教师委员会的拒绝采样微调算法和基于人类反馈的强化学习（RLHF）算法，这些算法显著提高了模型的指令跟随质量。 模型优化 优化技术 ：包括低位调色、激活量化、嵌入量化和高效的 KV 缓存更新。 设备端优化 ：通过共享输入和输出词汇嵌入表减少内存需求和推理成本，使用 2 位和 4 位混合配置策略达到未压缩模型的准确性。 性能指标 ：在 iPhone 15 Pro 上实现首个标记延迟约为每标记 0.6 毫秒，生成速率为每秒 30 个标记。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/06/X2Twitter.com_1800659003019591680720p.mp4"][/video] 苹果对于 Apple Intelligence 背后技术的介绍视频 视频来自 @宝玉

模型适应概述 苹果基础模型可以根据任务动态自适应，利用适配器进行细调。这些适配器可以插入到预训练模型的不同层，以便在特定任务上进行微调，同时保持基础模型的通用知识。 “动态自适应”指的是模型在运行时能够根据当前任务的具体需求进行调整。也就是说，模型可以识别当前用户正在执行的任务，并根据该任务的特定要求进行优化和调整。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/Fig2_Adapters_9f087bc5c5-1.mp4"][/video] 1. 适配器模块 适配器设计 ：适配器（Adapters）是小型的神经网络模块，它们可以插入到预训练模型的不同层中。适配器的作用是针对特定任务进行微调，而无需改变基础模型的大部分参数。 参数表示 ：适配器参数使用 16 位表示，对于约 30 亿参数的设备端模型，适配器参数通常需要几十兆字节。 动态加载与交换 ：适配器可以动态加载、暂时缓存于内存并交换，确保模型能够在不同任务间快速切换，同时高效管理内存，保证操作系统响应性。 适配器优化 ： LoRA 适配器 ：使用低秩适配器（LoRA）对模型进行微调，这些适配器在优化过程中保持了原始预训练模型的参数不变，从而保留了模型的通用知识，同时通过适配器层支持特定任务。 混合配置策略 ：使用 2 位和 4 位混合配置策略来实现低位调色，使适配器在达到未压缩模型准确性的同时，保持高效的内存和性能要求。 插入适配器 ：将适配器插入到预训练模型的不同层中。这些适配器只对少量参数进行调整，而基础模型的大部分参数保持不变。 保留通用知识 ：基础模型已经通过大规模数据训练，拥有广泛的知识和能力。通过使用适配器进行微调，可以在保留这些通用知识的同时，使模型在特定任务上表现得更好。 任务专用调整 ：每个适配器都是针对某个特定任务进行训练的。例如，一个适配器可能专门用于生成文本摘要，而另一个适配器可能用于分类任务。 2. 适应过程 训练基础设施 ： 高效基础设施 ：Apple 创建了高效的基础设施，能够在基础模型或训练数据更新时，快速再训练、测试和部署适配器参数。 适配器初始化 ：使用优化部分介绍的准确性恢复适配器进行初始化，确保适配器能够在不同任务中表现优异。 适应任务 ： 适应特定任务 ：适配器被设计用于支持特定功能，如文本总结、优先通知、图像生成等。通过对不同任务进行微调，适配器能够在保持模型通用性的同时，提升特定任务的表现。 实例应用 ： 文本总结 ：适配器在邮件和通知摘要任务中进行微调，确保模型生成的摘要能够满足特定使用场景的需求。 图像生成 ：适配器用于 Image Playground 功能，支持用户在信息应用中快速创建有趣的图像。 指令跟随 ：适配器增强模型的指令跟随能力，确保用户在不同应用中的操作能够得到准确理解和执行。 通过适配器技术，苹果基础模型能够在保持其广泛知识和通用能力的同时，根据具体任务的需求进行细微调整，从而在不同任务上都能表现出色。这种方法既高效又灵活，适用于多种应用场景。 性能评估 1. 总体性能评估 评估基准 ：Apple 对基础模型的总体能力进行了全面评估，使用真实世界的提示测试模型的能力。这些提示涵盖了主要类别，如头脑风暴、分类、封闭式问题回答、编码、提取、数学推理、开放式问题回答、重写、安全性、总结和写作。 比较模型 ：Apple 的模型与开源模型（如 Phi-3、Gemma、Mistral、DBRX）和商业模型（如 GPT-3.5-Turbo、GPT-4-Turbo）进行了比较。评估结果表明，Apple 的模型在大多数情况下被人类评估者优先选择。 评估结果 ：Apple 的设备端模型（约 30 亿参数）表现优于更大的模型（如 Phi-3-mini、Mistral-7B、Gemma-7B）。服务器模型与 DBRX-Instruct、Mixtral-8x22B 和 GPT-3.5-Turbo 相比表现优异。 2. 特定功能适配器的性能评估 摘要功能 ： 训练数据 ：使用服务器大模型生成的合成摘要，并通过拒绝采样策略过滤，保留高质量摘要。 评估数据 ：包括 750 个 carefully sampled 的响应，涵盖多种输入类型和长度，确保代表实际使用情况。 评估结果 ： 邮件摘要满意度：Apple On-Device + Adapter 模型的满意度为 87.5%，优于 Phi-3-mini 的 73.3%。 通知摘要满意度：Apple On-Device + Adapter 模型的满意度为 79.7%，略高于 Phi-3-mini 的 76.6%。 人类评估 ： 总体满意度：在邮件和通知的特定使用案例中，Apple 的模型生成的摘要优于可比模型。 安全评估 ：通过对抗性提示测试模型在有害内容、敏感话题和真实性方面的表现，Apple 的模型在面对对抗性提示时表现出更低的违规率。 3. 安全性评估 安全性评估基准 ：使用多样的对抗性提示测试模型的性能，包括有害内容、敏感话题和真实性。 评估结果 ： Apple 的设备端模型和服务器模型在面对对抗性提示时表现出较低的违规率，优于开源和商业模型。 安全提示人类评估 ：人类评估者认为 Apple 的模型在安全提示方面的响应更安全且更有帮助。 4. 指令跟随能力评估 Instruction-Following Eval (IFEval) 基准 ：评估模型的指令跟随能力，结果显示 Apple 的设备端模型和服务器模型在详细指令的跟随能力方面优于同等大小的开源和商业模型。 评估结果 ： 设备端模型 ：指令级准确率为 78.7%，提示级准确率为 70.2%。 服务器模型 ：指令级准确率为 85.0%，提示级准确率为 79.1%。 5. 写作能力评估 内部评估基准 ：包括摘要和撰写的各种指令，评估模型的写作能力。 评估结果 ： 设备端模型 ：摘要得分为 9.1，撰写得分为 9.1，优于 Gemma-2B 和 Mistral-7B 等模型。 服务器模型 ：摘要得分为 9.5，撰写得分为 9.5，表现与 GPT-4-Turbo 相当。 原文： https://machinelearning.apple.com/research/introducing-apple-foundation-models

Menu

分类目录

Apple Intelligence背后基础模型：一个约30亿参数的设备端模型和一个服务器端大模型

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Meta发布 Meta Spirit LM 一个可以在语音和文本之间进行无缝转换的多模态语音模型

AutoPrompt ：自动优化你的提示词

微软文本转语音虚拟数字人功能上线可以创建实时互动的数字人

ElevenLabs 发布Turbo 2.5模型速度提高了3倍支持中文等32种语言

TxT360：一个用于大语言模型训练的全球去重的高质量数据集 5.7万亿个高质量的tokens

OpenAI 宣布推出Whisper large-v3-turbo 语音转录模型速度提高了8倍

image-Translator: 一键翻译各类图片、漫画内文字支持多种语言

成立两年首次亮相就放王炸 MiniMax发布三款模型语音模型、音乐模型和类似Sora视频模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Frame：具备视觉能力和实时联网问答的开源AR眼镜

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Apple Intelligence背后基础模型：一个约30亿参数的设备端模型和一个服务器端大模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?