Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

阿里云发布其第一个MoE模型:Qwen1.5-MoE-A2.7B 匹敌7B性能

by 小互
2024年3月29日
in XiaoHu.AI日报
0 0
0
阿里云发布其第一个MoE模型:Qwen1.5-MoE-A2.7B 匹敌7B性能
0
SHARES
80
VIEWS
Share on FacebookShare on Twitter

Qwen团队发布了他们的新型混合专家(MoE)模型——Qwen1.5-MoE-A2.7B,这是一款只有2.7亿激活参数的小型MoE模型,但其性能却能匹配到像Mistral 7B和Qwen1.5-7B这样的7B参数模型。与Qwen1.5-7B相比,Qwen1.5-MoE-A2.7B大大减少了训练成本,降低了75%,并将推理速度提高了1.74倍,有效提高了资源利用率,同时保持了出色的性能。

这一更新不仅是模型功能和性能的提升,也预示着Qwen模型从当前版本向更高级版本Qwen2的转变。Qwen1.5携带了若干重要的更新和优化,为未来Qwen2版本的发布铺垫了基础。

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

Login if you have purchased

加入会员

加入会员查看更多会员内容和教程。
超过1000+的会员内容,每天更新。
开通会员

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
488
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
343
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
456
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
284
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
625
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
432

Recommendeds

OpenAI 官方发布: ChatGPT 学生写作指南 指导学生如何正确使用GPT

OpenAI 官方发布: ChatGPT 学生写作指南 指导学生如何正确使用GPT

1.1k VIEWS
2024年11月21日
Matting by Generation:利用图像生成模型来实现更高质量的图像抠图

Matting by Generation:利用图像生成模型来实现更高质量的图像抠图

297 VIEWS
2024年8月7日
MINT-1T:拥有一万亿Token和34亿张图像的多模态数据集

MINT-1T:拥有一万亿Token和34亿张图像的多模态数据集

222 VIEWS
2024年7月31日
苹果发布Apple Intelligence 技术报告 证实其AI系统是在Google TPU 集群上训练的

苹果发布Apple Intelligence 技术报告 证实其AI系统是在Google TPU 集群上训练的

201 VIEWS
2024年7月30日
Reor:一个基于AI的开源桌面笔记应用 构建你的“第二大脑”。

Reor:一个基于AI的开源桌面笔记应用 构建你的“第二大脑”。

129 VIEWS
2024年3月14日
OpenAI 衍生公司人工智能模型,让机器人像人类一样学习任务

OpenAI 衍生公司人工智能模型,让机器人像人类一样学习任务

51 VIEWS
2024年3月19日
Vchitect 2.0:上海人工智能实验室开发的视频生成模型 可生成5 到 20 秒的高清短视频

Vchitect 2.0:上海人工智能实验室开发的视频生成模型 可生成5 到 20 秒的高清短视频

306 VIEWS
2024年9月13日
Mem0:为大语言模型提供永久记忆能力  实现跨应用程序的个性化AI体验

Mem0:为大语言模型提供永久记忆能力 实现跨应用程序的个性化AI体验

447 VIEWS
2024年7月22日
APISR:专注于动漫图像、视频的超分辨率模型

APISR:专注于动漫图像、视频的超分辨率模型

47 VIEWS
2024年3月20日
OpenDiLoCo:一个分布式低通信模型训练开源框架 允许在全球进行分布式AI训练

OpenDiLoCo:一个分布式低通信模型训练开源框架 允许在全球进行分布式AI训练

356 VIEWS
2024年7月12日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版