H2O-Danube3：无需联网可以直接在手机上运行的开源模型

H2O-Danube3 是一个由 H2O.ai 开发的一系列小型语言模型。这些模型旨在提供高效的自然语言处理能力，能够在普通边缘硬件设备（如智能手机）上运行。

H2O-Danube3 解决了需要强大计算能力的大型模型在普通设备上无法高效运行的问题。通过优化，它们能在不牺牲性能的情况下，实现在普通硬件上高效运行。

H2O-Danube3 可以用于开发高效的聊天机器人、问答系统、文本分类工具等，可以在移动设备上离线运行，适用于 iPhone、iPad 或桌面设备， 而且不需要互联网连接。 为用户提供便捷的智能服务。

模型分为两个主要版本：

H2O-Danube3-4B ：包含大约 4 亿个可训练参数，训练了 6 万亿个 tokens。 H2O-Danube3-500M ：包含大约 5 亿个可训练参数，训练了 4 万亿个 tokens。 [video width="1048" height="2098" mp4="https://img.xiaohu.ai/2024/07/WEB-mobile-Phone-video2.mp4" loop="true" autoplay="true" preload="auto"][/video] 主要功能特点 高效运行 ：

硬件兼容性 ：可以在现代智能手机等普通硬件设备上高效运行，实现本地推理和快速处理能力，适用于边缘设备和离线应用。 计算和内存效率 ：采用优化的模型架构和参数设置，确保在有限的计算资源下仍能提供优异的性能。 多任务能力 ：

通用语言任务 ：模型在序列分类、问答系统、token 分类等任务中表现优异，经过微调后能够在特定任务上超过一些大型模型。 聊天能力 ：提供了 H2O-Danube3-4B-Chat 和 H2O-Danube3-500M-Chat 版本，专门针对聊天任务进行了优化和微调。 多语言处理 ：支持处理多种语言的文本，能够进行多语言生成和理解。 语言翻译 ：将文本从一种语言翻译到另一种语言，支持多种语言对。 数据摘要 ：对结构化数据进行分析和总结，生成数据报告。从数据中提取有价值的洞察，生成分析报告。 模型量化 ：

支持量化版本 ：引入了 H2O-Danube3-4B-Chat 和 H2O-Danube3-500M-Chat 的量化版本，支持 GGUF 格式，能够在边缘设备上进一步减小模型体积，保持高效性能。 H2O-Danube3 模型架构特点 1.核心架构 ： Llama 模型架构 ：H2O-Danube3 采用了 Llama 模型架构的核心原则，并结合了 Llama 2 和 Mistral 的自定义参数，以提升模型的性能和效率。 层次结构 ：模型由多层堆叠的神经网络组成，每层包含多个注意力头和前馈神经网络单元。 注意力机制 ：使用多头注意力机制，使模型能够关注输入序列的不同部分，从而更好地理解上下文关系。 位置编码 ：使用相对位置编码（如 RoPE）来捕捉输入序列中的位置信息，支持更长的上下文处理。 改进的分词器 ：使用 Mistral 的分词器，提高模型对不同语言和文本类型的处理能力。 自定义参数设置 ：包括调整隐藏层的大小、注意力头的数量、词汇量等参数，以优化模型的性能。 仅解码器模型 ：H2O-Danube3 是一系列仅解码的语言模型（decoder-only LLM），这意味着它们专注于生成任务，如文本生成和序列生成。 专注于生成任务 ：通过仅使用解码器，模型可以专注于生成高质量的文本输出，而不需要处理编码任务。 高效性 ：解码器模型在处理生成任务时更加高效，因为它们不需要处理复杂的编码步骤，可以更快速地生成连续文本。 Grouped Query Attention (GQA)： Grouped Query Attention 是一种优化多头注意力机制的方法，通过将查询（Query）分组处理，减少计算开销，同时保持模型性能。GQA 技术有助于提升参数和计算效率，使得模型能够在资源有限的设备上运行。 2. 词汇量和上下文长度 H2O-Danube3 使用 Mistral 标记器，词汇量为 32,000，能够处理长达 8,192 的上下文长度。这一设计使得模型在处理长文本时表现出色，适用于需要长时间上下文记忆的任务。

3. 模型参数和层数 H2O-Danube3 提供了两种主要模型配置：

H2O-Danube3-4B ：包含 3.96 亿个可训练参数，共 24 层，隐藏层大小为 3840，中间层大小为 10240，拥有 32 个头和 8 个键值头，头部大小为 120。 H2O-Danube3-500M ：包含 5 亿个可训练参数，共 16 层，隐藏层大小为 1536，中间层大小为 4096，拥有 16 个头和 8 个键值头，头部大小为 96。 4. RoPE 相对位置编码 (Rotary Position Embeddings) RoPE (Rotary Position Embeddings) 技术被用于编码相对位置信息，theta 值为 100,000。这种编码方式提高了模型处理长序列数据的能力，增强了其在长文本上下文中的表现。

5. 参数优化和计算效率 H2O-Danube3 的设计注重优化参数和计算效率，使其能够高效地运行在现代智能手机和边缘设备上。这意味着用户可以在无需强大计算资源的情况下，享受到高效的语言模型推理能力。

6. 微调和自定义能力 H2O-Danube3 提供了经过微调的版本，如 H2O-Danube3-4B-Chat 和 H2O-Danube3-500M-Chat，利用 H2O LLM Studio 进行监督微调。这些版本专为对话和特定任务优化，用户可以根据具体需求进一步微调模型，适应多样化的应用场景。

7.训练过程 ： 三阶段训练 ：模型在三阶段的高质量数据上进行训练，逐步减少噪声数据的比例，增加高质量数据的比例。 数据比例变化 ：第一阶段数据包含 90.6% 的网页数据，逐渐减少到第二阶段的 81.7%，再到第三阶段的 51.6%。前三阶段分别包含 4.6 万亿、1.35 万亿和 0.05 万亿 tokens。 H2O-Danube3 的评估结果 学术基准测试 H2O-Danube3 在多个学术基准测试中表现出色。以下是主要评估结果：

H2O-Danube3-4B 与其他模型的比较 ：

ARC-c 25-shot ：58.96（优于 Qwen1.5-4B-Chat 和 StableLM-Zephyr-3B，但稍逊于 Phi-3-mini-4k-instruct） Hellaswag 10-shot ：80.36（接近最佳模型 Phi-3-mini-4k-instruct 的 80.62） MMLU 5-shot ：54.74（仅次于 Phi-3-mini-4k-instruct） TruthfulQA 0-shot mc2 ：47.79（表现出色，仅次于 Phi-3-mini-4k-instruct） Winogrande 5-shot ：76.48（高于大多数同类模型） GSM8K 5-shot ：50.18（优于大部分同类模型，但低于 Phi-3-mini-4k-instruct） ARC-e 25-shot ：83.84（接近最佳） CommonsenseQA 3-shot ：79.52（在知识类问答中表现优异） H2O-Danube3-500M 与其他模型的比较 ：

ARC-c 25-shot ：39.25（优于 Qwen2-0.5B-Instruct） Hellaswag 10-shot ：61.02（显著优于 Qwen2-0.5B-Instruct） MMLU 5-shot ：26.33（低于 Qwen2-0.5B-Instruct） TruthfulQA 0-shot mc2 ：39.96（表现相近） Winogrande 5-shot ：61.72（优于 Qwen2-0.5B-Instruct） ARC-e 25-shot ：71.84（优于 Qwen2-0.5B-Instruct） 基准测试 指标 Danube2 1.8B Danube3 4B Qwen1.5 4B StableLM 3B Phi3 4B ARC-c 25-shot Accuracy 43.69 58.96 42.15 47.70 63.91 Hellaswag 10-shot Accuracy 73.91 80.36 69.46 73.71 80.62 MMLU 5-shot Accuracy 37.83 54.74 54.03 44.98 69.43 TruthfulQA 0-shot mc2 40.53 47.79 44.88 46.40 57.72 Winogrande 5-shot Accuracy 69.30 76.48 66.22 65.59 70.80 GSM8K 5-shot Accuracy 32.30 50.18 3.63 52.46 77.48 ARC-e 25-shot Accuracy 74.92 83.84 73.44 72.10 87.29 BBH 3-shot CoT Accuracy 30.39 38.92 21.03 36.77 71.42 CommonsenseQA 3-shot Accuracy 54.30 79.52 76.09 75.76 77.81 CoQA 0-shot F1 F1 68.30 77.23 61.94 70.86 79.75 PIQA 3-shot Accuracy 78.67 82.64 76.61 77.42 78.35 SciQ 3-shot Accuracy 95.70 97.10 95.40 94.80 97.60 平均 - 58.32 68.98 57.07 63.21 76.01 H2O-Danube3-4B 在许多基准测试中取得了领先地位，特别是在 CommonsenseQA 和 PhysicsQA 基准测试中表现尤为突出。

聊天基准测试 H2O-Danube3-4B-Chat 在多个聊天基准测试中表现优异：

MT-Bench ：

Turn 1 ：7.28（高于 Qwen1.5-4B-Chat 和 StableLM-Zephyr-3B，但低于 Phi-3-mini-4k-instruct） Turn 2 ：5.69（表现良好） WildBench-v2 ：

Raw score ：5.54（优于大多数同类模型） 内部投票 ELO ：1531（表现优于大部分同类模型）

RAG 基准测试 ：73.37（表现出色）

基准测试 指标 Danube2 1.8B Danube3 4B Qwen1.5 4B StableLM 3B Phi3 4B MT-Bench Turn 1 Score 6.41 7.28 6.68 7.10 8.38 MT-Bench Turn 2 Score 4.88 5.69 5.33 5.74 7.58 MT-Bench 平均 Average Score 5.64 6.49 6.00 6.42 7.98 WildBench-v2 Raw Score 4.65 5.54 4.87 5.51 6.47 内部投票 ELO ELO Score 1531 1466 - 1435 1564 RAG Benchmark Accuracy 66.88 73.37 67.53 68.18 73.37 H2O-Danube3-4B-Chat 在多次聊天基准测试中表现优异，超过了许多其他类似规模的模型。

微调基准测试 H2O-Danube3 在文本分类任务中的微调表现也非常优异：

数据集表现 ： Arxiv ：0.873（在长文本分类任务中表现出色） IMDB ：0.971（在情感分析任务中表现优异） Patent ：0.727（在专利分类任务中表现良好） Scientific ：0.872（在科学文本分类中表现出色） 数据集 Danube2 1.8B Danube3 0.5B Danube3 4B Qwen1.5 4B Qwen2 0.5B StableLM 3B Phi3 4B Arxiv 0.864 0.863 0.873 0.877 0.874 0.865 0.869 Imdb 0.968 0.959 0.971 0.970 0.959 0.969 0.967 Patent 0.721 0.708 0.727 0.717 0.707 0.719 0.712 Scientific 0.868 0.846 0.872 0.875 0.855 0.867 0.870 平均 0.855 0.844 0.861 0.860 0.849 0.855 0.854 H2O-Danube3-4B 在大多数基准测试中表现领先，展示了其在文本分类任务中的强大微调能力。

模型量化 为了在边缘设备上更高效地使用模型，H2O-Danube3 提供了量化版本。量化技术通过减少模型的参数精度来降低模型的存储需求和计算成本，同时尽量保持模型性能。以下是 H2O-Danube3-4B-Chat 的量化版本及其性能指标：

量化方法与模型大小

表格总结了 H2O-Danube3-4B-Chat 的不同量化版本，展示了模型大小与性能之间的权衡。

量化方法 模型大小 MT-Bench Perplexity F16 7.92 GB 6.43 6.17 Q8_0 4.21 GB 6.49 6.17 Q6_K 3.25 GB 6.37 6.20 Q5_K_M 2.81 GB 6.25 6.24 Q4_K_M 2.39 GB 6.31 6.37 Q3_K_M 1.94 GB 5.87 6.99 Q2_K 1.51 GB 3.71 9.42 F16 ：全精度浮点数（Full Precision 16-bit），作为基准，对比其他量化方法的性能。 Q8_0 ：8-bit 量化，性能几乎无损失，但模型大小减少显著。 Q6_K ：6-bit 量化，模型大小进一步减少，性能略有下降。 Q5_K_M ：5-bit 量化，模型大小显著减少，性能保持较好。 Q4_K_M ：4-bit 量化，模型大小减少至最小，性能仍保持较高水平。 Q3_K_M ：3-bit 量化，模型大小显著减少，但性能开始明显下降。 Q2_K ：2-bit 量化，模型大小最小，但性能大幅下降。 量化性能分析

Q8_0 和 Q6_K ：这些量化方法在减少模型大小的同时，保持了接近全精度的性能，非常适合需要在存储和计算资源之间找到平衡的应用场景。 Q5_K_M 和 Q4_K_M ：进一步减少了模型大小，仍然保持了较高的性能，适用于对存储资源要求较高的边缘设备。 Q3_K_M 和 Q2_K ：虽然模型大小大幅减少，但性能显著下降，适用于极端存储和计算受限的环境，但对性能要求较低的任务。 结论