Hugging Face发布了一个完全开源的端侧模型SmolLM 可在手机上运行

SmolLM 是由 Hugging Face 推出的一个小型语言模型系列，具有 135M、360M 和 1.7B 参数的模型。 SmolLM 能够在本地设备（如智能手机和笔记本电脑）上高效运行。超越 MobileLLM、Phi1.5 和 Qwen2 小型模型。 135M 参数模型 ：适用于内存受限的设备，如智能手机和小型嵌入式系统。 360M 参数模型 ：适用于中等内存设备，如高端智能手机和普通笔记本电脑。 1.7B 参数模型 ：适用于高内存设备，如服务器和高性能计算机。 目前已有的微软Phi系列、阿里巴巴的Qwen2（小于2B参数）和Meta的MobileLLM展示了小型模型在设计和训练得当时可以取得令人印象深刻的结果。然而，这些模型的数据策划和训练的具体细节大多未公开。 SmolLM公开了其数据策划和训练的详细信息，为研究人员和开发者提供了更多的透明度和可操作性。 模型架构和训练 模型架构 SmolLM 模型系列包括 135M、360M 和 1.7B 参数的模型，每个模型的架构设计均有所不同，但均采用了先进的技术和优化策略： 135M 和 360M 模型 ： 设计 ：类似于 MobileLLM，采用分组查询注意力（Grouped-Query Attention, GQA）机制。 优先深度 ：这些模型优先增加深度而非宽度，从而提升模型性能。 嵌入共享 ：使用嵌入共享（Embedding tying）技术。 上下文长度 ：2048 个 token 的上下文长度，可通过长上下文微调进一步扩展。 1.7B 模型 ： 设计 ：采用更传统的架构设计，注重模型的全面性能。 上下文长度 ：同样为 2048 个 token，并支持长上下文微调。 所有模型均使用在 SmolLM-Corpus 上训练的词汇表，词汇表大小为 49152。 优质训练数据集 SmolLM-Corpus ：包含高质量的训练数据集，包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu，覆盖了多种主题和应用场景。 Cosmopedia v2 ：合成教科书和故事，涵盖 34,000 个主题。 Python-Edu ：从 The Stack 提取的教育 Python 示例，优化了代码生成性能。 FineWeb-Edu ：从 FineWeb 数据集中筛选出的教育网页样本，提升了常识和世界知识能力。 1、Cosmopedia v2 数据来源 ：Cosmopedia v2 是一个增强版的数据集，包括由 Mixtral-8x7B-Instruct-v0.1 生成的3000多万本合成教科书、博客文章和故事。 数据生成策略 ： 使用强大的模型（如 llama3-70B-Instruct 和 Qwen1.5-72B-Chat）生成数据，以增加数据多样性。 通过优化提示（prompts）策略生成高质量的内容。具体方法包括： 使用预定义的34,000个主题列表（基于 BISAC 图书分类标准）进行数据生成。 从 FineWeb 样本中提取主题和相应的网页样本，增强数据集的多样性和覆盖范围。 数据组成 ： Cosmopedia v2 包含 28B 个令牌的合成教科书和故事。 数据集分布在34,000个不同主题上，确保内容的广泛性和深度。 2、FineWeb-Edu 数据来源 ：FineWeb-Edu 是从 FineWeb 数据集中过滤得到的，包含了1.3T令牌的教育网页数据。 数据处理 ： 使用 Llama3-70B-Instruct 生成的注释来训练教育质量分类器，过滤和保留最具教育性的网页内容。 FineWeb-Edu 数据集经过了去重处理，最终保留了 220B 令牌的数据。 数据集优势 ： FineWeb-Edu 在流行的基准测试中表现优异，展示了基于合成数据训练的分类器的强大性能。 3、 Stack-Edu-Python 数据来源 ：从 The Stack 数据集中提取的 500,000 个 Python 样本。 数据处理 ： 使用 Llama3 对这些样本进行注释和分类，仅保留评分为 4 及以上的样本，共 4B 令牌。 数据集优势 ： 经过严格筛选和分类的 Python 样本，显著提高了模型在编码任务上的性能。 训练细节 模型规模 SmolLM提供了三种规模的模型：135M、360M和1.7B参数。 135M和360M模型分别在600B令牌的数据上训练，1.7B模型在1T令牌的数据上训练。 超参数选择 使用梯形学习率调度器（trapezoidal learning rate scheduler），冷却阶段占总训练时间的20%。 135M和360M参数模型采用了类似于MobileLLM的架构设计，优先考虑深度而非宽度，并引入了Grouped-Query Attention（GQA）。 1.7B参数模型采用更传统的架构设计，所有模型都使用嵌入绑定和2048个令牌的上下文长度。 性能评估 SmolLM 模型在多种基准测试中表现出色，具体性能评估结果如下： 常识推理与世界知识基准测试 SmolLM-135M ： 超越了当前最佳的少于 200M 参数的模型 MobileLM-125M，尽管训练数据量仅为 MobileLM 的 600B tokens，而 MobileLM 训练了 1T tokens。 SmolLM-360M ： 超越了所有少于 500M 参数的模型，包括 MobileLM-350M 和 Qwen2-500M，尽管训练数据量仅为 600B tokens。 SmolLM-1.7B ： 超越了所有少于 2B 参数的模型，包括 Microsoft 的 Phi1.5、MobileLM-1.5B 和 Qwen2-1.5B。 代码生成性能（Python 编程测试） SmolLM-1.7B ：在 Python 编程测试（pass@1）中取得了 24 分，表现优异。尽管 Qwen2-1.5B 报告了更高的得分，但 SmolLM-1.7B 仍然展示了其在代码生成任务中的强大能力。 指令微调性能 通过在公开的指令数据集上进行微调，SmolLM 模型在 IFEval 基准测试中表现良好，展示了在实际应用中的高效性。 评估总结 SmolLM-135M ： 在少于 200M 参数的模型中表现最佳。 SmolLM-360M ： 在少于 500M 参数的模型中表现最佳。 SmolLM-1.7B ： 在少于 2B 参数的模型中表现最佳，特别是在代码生成任务中表现出色。 内存占用 SmolLM 模型设计为小型，可以在多种硬件配置上运行，适用于从智能手机到笔记本电脑等设备。具体内存占用如下： SmolLM-135M ：适用于内存较小的设备。 SmolLM-360M ：适用于中等内存的设备。 SmolLM-1.7B ：适用于高内存的设备。 官方介绍： https://huggingface.co/blog/smollm SmolLM 模型集合 SmolLM-Corpus 数据集 WebGPU 演示

Menu

分类目录

Hugging Face发布了一个完全开源的端侧模型SmolLM 可在手机上运行

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Facet AI：可以精确控制图像元素的展现适合制作广告和专业图像

Hume AI 推出 Voice Control 功能通过滑块操作即可实现个性化的语音定制

Meta AI 发布 Llama 3.2 多模态AI模型性能与GPT4o-mini 相当能够在边缘设备上高效运行

IncarnaMind：通过AI模型与多个文档同时聊天并能精确查询信息

LearnLM-Tutor：DeepMind 开发专门用于一对一的教学辅导的 AI 模型

全球最快的人工智能芯片：WSE-3 拥有高达4万亿个晶体管

School AI：让每个学生都有自己的聊天机器人提高学习兴趣和效率

AIwechat-Vercel：无需服务器无需备案将GPT接入微信公众号

斯坦福大学推出一种上下文向量（ICV）新方法提高模型微调效率和可扩展性

苹果推出Swift开发教程无需编码知识也能学

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Hugging Face发布了一个完全开源的端侧模型SmolLM 可在手机上运行

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?