苹果发布8种小型语言模型 OpenELM 可运行在各种移动设备上

苹果公司最近推出了一套名为OpenELM的小型AI语言模型，这些模型足够小，可以直接在智能手机上运行。这些模型目前还是概念验证研究模型，但未来可能成为苹果设备上AI功能的基础。这些模型被命名为“OpenELM”，意为“开源高效语言模型”，目前在Hugging Face平台上提供，采用苹果样例代码许可证发布。尽管这种许可证有一些限制，可能不符合“开源”的通常定义，但OpenELM的源代码是可用的。

OpenELM包括八个不同的AI语言模型，这些模型分为两种主要类型：

预训练模型（Pretrained Models）： 这些模型是基础版本，也就是原始的、未经特别优化的模型，主要用于理解和生成语言的基本任务。包括以下四种：

OpenELM-270M OpenELM-450M OpenELM-1_1B OpenELM-3B 指令调优模型（Instruct-Tuned Models）： 这些模型经过特别的调优，优化了对指令的响应能力，更适合用于开发AI助手和聊天机器人等应用。这些模型的版本如下：

OpenELM-270M-Instruct OpenELM-450M-Instruct OpenELM-1_1B-Instruct OpenELM-3B-Instruct 这些模型提供了不同的参数大小选项，以适应不同的设备和应用需求，从较小的270M参数到较大的3B参数，使得它们可以灵活部署在各种智能设备上。 层次化缩放策略 苹果公司在开发OpenELM系列模型时采用了一种创新的 层次化缩放策略 ，这种策略在模型的各个层之间有效地分配参数，从而在保证性能的同时节省计算资源。这种策略特别关注于在每一层内如何分配和使用参数，以优化整体模型的效率和响应能力。 层次化参数调整 ：在标准的 Transformer 模型中，每一层通常具有相同的配置，如相同数量的注意力头和相同维度的前馈网络。OpenELM 打破这一做法，允许每一层有不同的参数设置。 动态参数分配 ：通过引入两个关键的缩放参数（α和β），OpenELM 能够在每一层中独立地调整注意力头数（ n h ）和前馈网络的规模（FFN multiplier）。 想象一下，一个巨大的办公楼，每一层都有不同的部门。一些部门（比如接待处）可能不需要太多的设备和人员，而有些部门（比如研发部）则需要大量的资源和复杂的设备。如果每一层都配备同样数量的设备和人员，显然会造成资源的浪费。

在OpenELM模型中，层次化缩放策略正是用来解决这种资源分配问题的。每一层（或者说，每一个部门）都可以根据需要获得适量的资源，而不是一视同仁。这样做有几个好处：

节省资源 ：通过精确控制每一层的资源使用，模型可以在不牺牲性能的情况下，减少不必要的计算和能源消耗。

提高效率 ：每一层都得到了恰到好处的资源，可以更高效地处理信息。比如底层可能只需要处理一些简单的数据，而顶层则处理复杂的决策和分析。

优化性能 ：这种策略还能提升整体的性能。因为每一层都在其最佳状态下运作，整个模型的输出也会更加精确和可靠。

实现方式

在技术层面，苹果公司通过调整每一层的“参数”来实现这种策略。你可以将参数看作是每层的“资源”——包括处理数据的能力和存储信息的空间。通过动态调整这些参数，OpenELM能够确保每一层都在最适宜的状态下运行，既不过载也不闲置。

这种方法使得模型在早期层使用较少的资源处理简单特征，在更深层使用更多资源处理复杂特征，从而在保持高性能的同时减少不必要的计算开销。 性能影响

效率提升 ：通过优化每一层的参数配置，OpenELM 显著提高了模型的运行效率，尤其是在资源受限的设备上。 准确性提升 ：层次化缩放策略还有助于提升模型整体的准确性，因为它允许模型更加专注于关键特征的提取和处理。 OpenELM 架构 OpenELM 采用基于 Transformer 的解码器架构。这种架构跟随最新的大型语言模型（LLM）的设计原则，具体包括： 不使用可学习的偏差参数 ：在所有全连接层（也称为线性层）中不使用可学习的偏差参数。 预归一化 ：采用 RMSNorm 进行预归一化处理，以稳定训练过程。 旋转位置嵌入（ROPE） ：用于编码位置信息，改善模型对序列位置的感知能力。 分组查询注意力（GQA） ：作为传统多头注意力（MHA）的替代，以提高注意力机制的效率和效果。 SwiGLU 前馈网络 ：替换标准的前馈网络（FFN），使用 SwiGLU 激活函数提高模型的非线性处理能力。 快速注意力（Flash Attention） ：用于计算缩放点积注意力，提高计算效率。 使用与 LLama 相同的 Tokenizer ：保持与当前流行模型的兼容性。 训练细节 OpenELM 的训练涵盖了从数据准备、模型训练、微调到评估的全过程，使用公开数据集进行预训练，确保了训练过程的开放性和透明性。模型经过多达 350,000 次迭代的训练，采用 AdamW 作为优化器，并实施了余弦学习率调度策略。

数据集 ：包括 RefinedWeb、去重后的 PILE、RedPajama 和 Dolma v1.6 的子集，总计大约 1.8 万亿令牌。 动态令牌化和数据过滤 ：与传统使用预令牌化数据的方法不同，OpenELM 在飞处理文本数据的令牌化和过滤，以支持使用不同的 Tokenizer 进行无缝实验。 OpenELM 的性能表现 OpenELM 模型在多个性能指标上表现出色，主要通过以下几个方面体现：

准确性提高 ：

在相似规模的模型比较中，OpenELM 在准确度上比OLMo模型提高了2.36%。这一性能提升体现了其高效的参数分配和先进的架构设计对结果质量的显著影响。 预训练令牌需求减半 ：

OpenELM 的另一个显著优势是在达到高准确度的同时，其预训练所需的令牌数量仅为其他模型的一半。这意味着在使用更少的数据进行训练时，OpenELM 能够更快地完成训练过程，同时减少计算资源的消耗。 训练迭代中的性能提升 ：

在标准零样本（zero-shot）任务的训练迭代中，OpenELM 显示出随着训练时间的增加，模型性能持续提升的趋势。这表明模型能有效地从增加的训练数据中学习和改进。 高效的参数使用 ：

OpenELM 采用层间缩放策略，使得每一层都可以根据实际需要调整参数使用，优化了模型内部的资源分配。这种策略不仅提高了模型的运算效率，也增强了模型处理复杂语言任务的能力。 完全开源 OpenELM 的开源贡献不仅限于模型权重和推理代码，还包括了完整的训练和评估框架。 除了模型本身，苹果公司还公开了整个模型从训练到评估的完整过程，包括：