Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

阿里云推出 Qwen2.5-Turbo 专为处理长文本场景设计 支持 100 万 Token 的上下文

by 小互
2024年11月19日
in XiaoHu.AI日报
0 0
0
阿里云推出 Qwen2.5-Turbo 专为处理长文本场景设计 支持 100 万 Token 的上下文
0
SHARES
180
VIEWS
Share on FacebookShare on Twitter
阿里云推出 Qwen2.5-Turbo 专为处理长文本场景设计
  • 支持 100 万 Token 的上下文长度,相当于 10 部完整小说、150 小时的语音转录或 30,000 行代码。
  • 在 Passkey Retrieval 任务中实现 100% 的准确率。
  • 处理 100 万 Token 的时间从原来的 4.9 分钟减少到 68 秒,提升 4.3 倍。
  • 处理 100 万 Token 的费用为 ¥0.3,与 GPT-4o-mini 相比,在相同成本下处理 3.6 倍的内容。
case1_en

理解长篇小说,上传The Three-Body Problem三本中文小说,共69万token

1. 长文本任务性能

超长文本处理能力

  • 上下文长度支持 100 万 Token:
    • 能处理超长文本,约等于 10 部完整小说或 30,000 行代码。
    • Passkey Retrieval 任务:实现 100% 准确率。
  • 长文本评估基准测试表现优异:
    • RULER 基准:得分 93.1,高于 GPT-4(91.6)和 GLM4-9B-1M(89.9)。
    • LV-Eval 和 LongBench-Chat:在多个长文本任务中超越 GPT-4o-mini,处理超长上下文任务能力强。

细节捕获与复杂理解

  • 在超长上下文中,能准确捕捉隐藏信息,回答复杂问题,并找到大量上下文中的关键信息。


2. 短文本任务性能

  • 短文本任务稳定性:
    • 长上下文支持没有影响短文本任务的能力。
    • 在短文本基准测试中表现与 GPT-4o-mini 相当。

  • 优秀的长文本理解能力:
    • 在复杂的长文本任务(如 LV-Eval、LongBench-Chat)中表现优于 GPT-4o-mini。
    • 可处理超过 128K Token 的任务场景。
    • Qwen2.5-Turbo 支持的上下文长度是 GPT-4o-mini 的 8 倍,但短文本任务性能几乎无损。


3. 推理速度

  • 时间优化:
    • 在 100 万 Token 输入下,首次生成 Token 的时间缩短至 68 秒,提升 4.3 倍(原为 4.9 分钟)。
    • 稀疏注意力机制:显著压缩计算量,效率提升 12.5 倍。
  • 硬件兼容性:
    • 在多种硬件配置下都能提供稳定的推理速度。


4. 性价比

  • 高效计算:
    • 相同成本下,Qwen2.5-Turbo 处理的 Token 数是 GPT-4o-mini 的 3.6 倍。
    • 每处理 100 万 Token 的费用仅为 ¥0.3。

5. 综合评价

  • 优于同类竞品:在长文本任务中超越 GPT-4 和其他同类模型。
  • 任务适应性强:兼具长文本理解的深度和短文本处理的精准性。
  • 推理效率高:无论在超长文本还是复杂任务中,都能以更快的速度完成。
case3

理解多篇论文 上传7篇关于长上下文LLM论文,长度为171k tokens

官方介绍:https://qwenlm.github.io/blog/qwen2.5-turbo/

在线演示:https://huggingface.co/spaces/Qwen/Qwen2.5-Turbo-1M-Demo

API文档:https://help.aliyun.com/zh/model-studio/getting-started/first-api-call-to-qwen

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
485
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
341
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
455
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
281
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
621
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
432

Recommendeds

MovieLLM: 用AI合成电影数据 用来训练AI对长视频理解

MovieLLM: 用AI合成电影数据 用来训练AI对长视频理解

46 VIEWS
2024年3月7日
ChatGPT-Plus:一套完整的AI助手开源方案 自带运营管理后台

ChatGPT-Plus:一套完整的AI助手开源方案 自带运营管理后台

433 VIEWS
2024年5月6日
Pipedream:快速连接和集成超过2000多个应用程序

Pipedream:快速连接和集成超过2000多个应用程序

125 VIEWS
2024年3月31日
Prompt 学习地图 11 | 编写策略-拆分复杂任务的学习地图

Prompt 学习地图 11 | 编写策略-拆分复杂任务的学习地图

111 VIEWS
2024年4月18日
不同文本转语音(TTS)模型对比 优缺点以及场景选择

不同文本转语音(TTS)模型对比 优缺点以及场景选择

647 VIEWS
2024年12月2日
UniPortrait:在单人和多人场景中保持身份一致 并进行风格转换和自由编辑

UniPortrait:在单人和多人场景中保持身份一致 并进行风格转换和自由编辑

177 VIEWS
2024年8月16日
教程:如何使用 Midjourney 换脸 将一个人面部复制并粘贴到任意人身上

教程:如何使用 Midjourney 换脸 将一个人面部复制并粘贴到任意人身上

352 VIEWS
2024年6月20日
Twitter-Insight-LLM:抓取Twitter数据并可通过自然语言搜索图像

Twitter-Insight-LLM:抓取Twitter数据并可通过自然语言搜索图像

450 VIEWS
2024年4月19日
DETECT-2B :音频深度伪造检测工具 可以在只200毫秒内检测30多种语言的音频

DETECT-2B :音频深度伪造检测工具 可以在只200毫秒内检测30多种语言的音频

178 VIEWS
2024年7月18日
Prompt 学习地图 13 | 框架思维 – ICIO 框架 清晰描述模型要执行的任务

Prompt 学习地图 13 | 框架思维 – ICIO 框架 清晰描述模型要执行的任务

100 VIEWS
2024年4月18日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版