Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

阿里云推出 Qwen2.5-Turbo 专为处理长文本场景设计 支持 100 万 Token 的上下文

by 小互
2024年11月19日
in XiaoHu.AI日报
0 0
0
阿里云推出 Qwen2.5-Turbo 专为处理长文本场景设计 支持 100 万 Token 的上下文
0
SHARES
180
VIEWS
Share on FacebookShare on Twitter
阿里云推出 Qwen2.5-Turbo 专为处理长文本场景设计
  • 支持 100 万 Token 的上下文长度,相当于 10 部完整小说、150 小时的语音转录或 30,000 行代码。
  • 在 Passkey Retrieval 任务中实现 100% 的准确率。
  • 处理 100 万 Token 的时间从原来的 4.9 分钟减少到 68 秒,提升 4.3 倍。
  • 处理 100 万 Token 的费用为 ¥0.3,与 GPT-4o-mini 相比,在相同成本下处理 3.6 倍的内容。
case1_en

理解长篇小说,上传The Three-Body Problem三本中文小说,共69万token

1. 长文本任务性能

超长文本处理能力

  • 上下文长度支持 100 万 Token:
    • 能处理超长文本,约等于 10 部完整小说或 30,000 行代码。
    • Passkey Retrieval 任务:实现 100% 准确率。
  • 长文本评估基准测试表现优异:
    • RULER 基准:得分 93.1,高于 GPT-4(91.6)和 GLM4-9B-1M(89.9)。
    • LV-Eval 和 LongBench-Chat:在多个长文本任务中超越 GPT-4o-mini,处理超长上下文任务能力强。

细节捕获与复杂理解

  • 在超长上下文中,能准确捕捉隐藏信息,回答复杂问题,并找到大量上下文中的关键信息。


2. 短文本任务性能

  • 短文本任务稳定性:
    • 长上下文支持没有影响短文本任务的能力。
    • 在短文本基准测试中表现与 GPT-4o-mini 相当。

  • 优秀的长文本理解能力:
    • 在复杂的长文本任务(如 LV-Eval、LongBench-Chat)中表现优于 GPT-4o-mini。
    • 可处理超过 128K Token 的任务场景。
    • Qwen2.5-Turbo 支持的上下文长度是 GPT-4o-mini 的 8 倍,但短文本任务性能几乎无损。


3. 推理速度

  • 时间优化:
    • 在 100 万 Token 输入下,首次生成 Token 的时间缩短至 68 秒,提升 4.3 倍(原为 4.9 分钟)。
    • 稀疏注意力机制:显著压缩计算量,效率提升 12.5 倍。
  • 硬件兼容性:
    • 在多种硬件配置下都能提供稳定的推理速度。


4. 性价比

  • 高效计算:
    • 相同成本下,Qwen2.5-Turbo 处理的 Token 数是 GPT-4o-mini 的 3.6 倍。
    • 每处理 100 万 Token 的费用仅为 ¥0.3。

5. 综合评价

  • 优于同类竞品:在长文本任务中超越 GPT-4 和其他同类模型。
  • 任务适应性强:兼具长文本理解的深度和短文本处理的精准性。
  • 推理效率高:无论在超长文本还是复杂任务中,都能以更快的速度完成。
case3

理解多篇论文 上传7篇关于长上下文LLM论文,长度为171k tokens

官方介绍:https://qwenlm.github.io/blog/qwen2.5-turbo/

在线演示:https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

API文档:https://help.aliyun.com/zh/model-studio/getting-started/first-api-call-to-qwen

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
485
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
341
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
455
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
281
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
622
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
432

Recommendeds

Perplexity 接入 Yelp 的评论数据 融入到其聊天机器人服务中

Perplexity 接入 Yelp 的评论数据 融入到其聊天机器人服务中

21 VIEWS
2024年3月13日
Google发布全球185个各大企业的生成式AI实际应用落地案例

Google发布全球185个各大企业的生成式AI实际应用落地案例

1.9k VIEWS
2024年9月27日
超200位知名音乐人签署公开信 呼吁阻止AI对人类创造力的攻击

超200位知名音乐人签署公开信 呼吁阻止AI对人类创造力的攻击

255 VIEWS
2024年4月3日
Chinese Tiny LLM:从头开始训练 专注于中文的大语言模型

Chinese Tiny LLM:从头开始训练 专注于中文的大语言模型

682 VIEWS
2024年4月8日
清华大学设计出用于通用人工智能光子芯片:太极芯片

清华大学设计出用于通用人工智能光子芯片:太极芯片

282 VIEWS
2024年4月15日
Meta AI为Ray-Ban Meta智能眼镜集成多模态能力 具有视觉能力

Meta AI为Ray-Ban Meta智能眼镜集成多模态能力 具有视觉能力

227 VIEWS
2024年4月24日
将TI-84计算器改装连接到互联网 并接入ChatGPT 实现作弊功能

将TI-84计算器改装连接到互联网 并接入ChatGPT 实现作弊功能

160 VIEWS
2024年9月23日
MathGPTPro:数学问题 AI 解决工具 提供实时互动学习体验

MathGPTPro:数学问题 AI 解决工具 提供实时互动学习体验

1k VIEWS
2024年7月31日
Creatie AI:AI驱动的产品设计工具 几分钟之内设计出一个网站或程序

Creatie AI:AI驱动的产品设计工具 几分钟之内设计出一个网站或程序

152 VIEWS
2024年3月27日
英伟达推出通用机器人模型: Project GR00T 打造机器人大脑

英伟达推出通用机器人模型: Project GR00T 打造机器人大脑

82 VIEWS
2024年3月19日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版