Menu

  • Home
  • Trending
  • Recommended
  • Latest

分类目录

  • AI 工具
  • AI新势力
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
XiaoHu.AI学院
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
No Result
View All Result
  • Login
XiaoHu.AI学院
No Result
View All Result
Home XiaoHu.AI日报

快手发布“可灵”视频大模型 类似Sora技术路线 能生成超过120秒 1080P视频

by 小互
2024年6月8日
in XiaoHu.AI日报
0 0
0
快手发布“可灵”视频大模型  类似Sora技术路线 能生成超过120秒 1080P视频
0
SHARES
1.4k
VIEWS
Share on FacebookShare on Twitter

快手最新发布的国产视频生成大模型“可灵”大模型,采用了类似Sora的技术路线,并结合了多项自研技术创新,能够生成时长超过120秒、分辨率高达1080p的视频,且能够精准建模复杂运动和物理特性。

主要功能特点

1. 高质量视频生成

  • 时长和帧率:可灵支持生成时长长达2分钟、30fps的超长视频。
  • 分辨率:生成视频的分辨率高达1080p,画质清晰细腻。
  • 宽高比:支持多种宽高比的视频生成,包括竖版视频,适配不同的使用场景和平台。

2. 物理世界模拟

  • 真实物理特性:可灵大模型能够模拟真实世界的物理特性,例如重力、光影反射、液体流动等。
  • 细节刻画:对于物体的运动、表面反射、影子变化等细节刻画非常到位,提供真实的视觉体验。

3. 复杂运动刻画

  • 精准运动建模:能够准确建模复杂且大幅度的运动场景,例如高速奔跑的动物、在月球上行走的宇航员等。
  • 连贯性:生成的视频画面连贯,动作流畅,能够真实再现运动过程中的细微变化。

4. 多种控制信息输入

  • 控制信息输入:支持用户输入相机运镜、帧率、边缘/关键点/深度等控制信息,提供丰富的内容控制能力。
  • 文本提示词优化:设计了专用的语言模型,可以对用户输入的提示词进行高质量扩充及优化,提升生成效果。

技术实现

1. 模型设计
  • 类Sora架构:采用了类Sora的DiT结构,用Transformer代替传统扩散模型中的卷积网络,提升生成能力和扩展性。
  • 3D VAE网络:自研3D VAE网络,实现时空同步压缩,提升视频重建质量。
  • 全注意力机制:设计了3D Attention机制进行时空建模,能够准确建模复杂时空运动,同时兼顾计算效率。
2. 数据保障
  • 标签体系:构建了完备的标签体系,对训练数据进行精细化筛选和调整,确保视频数据的高质量。
  • 视频描述模型:研发了视频描述模型,生成精确、详尽、结构化的视频描述,提高文本指令响应能力。
3. 计算效率
  • 分布式训练集群:使用分布式训练集群,通过算子优化、重算策略优化等手段,大幅提升硬件利用率。
  • 分阶段训练策略:采取分阶段训练策略,先在低分辨率阶段通过大量数据增强模型能力,再在高分辨率阶段提升细节表现。

一些案例

  • 大幅度的合理运动
    dfd
    6月8日 (1)(6)

    6月8日 (1)(7)
  • 长达2分钟的视频生成

    6月8日 (1)(31) 1

     

    6月8日 (1)(30) 1
  • 模拟物理世界特性

    6月8日 (1)(16)
    6月8日 (1)(17)
    6月8日 (1)(18)

    6月8日 (1)(25)
  • 强大的概念组合能力

    6月8日 (1)(32)

    6月8日 (1)(27)
  • 电影级的画面生成

    6月8日 (1)(29)
    6月8日 (1)(22)

    6月8日 (1)(21)
  • 支持自由的输出视频宽高比

    6月8日 (1)(24)
    6月8日 (1)(23)

    6月8日 (1)(26)
  • 表情身体驱动:基于自研的3D人脸和人体重建技术,结合背景稳定性和重定向模块,实现表情肢体全驱动技术,仅需一张全身照片,即可体验生动的“唱跳”玩法
    .
    6月8日 (1)(15)

    6月8日 (1)(14)
    6月8日 (1)(12)
    6月8日 (1)(10)

    6月8日 (1)(9)

 

官网:https://kling.kuaishou.com/

更多测试结果:https://waytoagi.feishu.cn/wiki/GevKwyEt1i4SUVk0q2JcqQFtnRd

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM)  让模型更像人类思考
XiaoHu.AI日报

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

2024年12月25日
485
阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型
XiaoHu.AI日报

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

2024年12月25日
341
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本
AI 工具

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

2024年12月24日
454
Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音
XiaoHu.AI日报

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

2024年12月24日
280
Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型
AI 论文

Anthropic 公布了一种全新的 AI 越狱技术 可以轻松破解所有前沿模型

2024年12月23日
621
INFP:基于音频驱动的双人对话中的互动头像生成  能自动区分谁在说话,谁在听
AI 项目

INFP:基于音频驱动的双人对话中的互动头像生成 能自动区分谁在说话,谁在听

2024年12月22日
432

Recommendeds

Hertz-dev:首个会话音频开源模型 全双工实时语音交互 120毫秒超低延迟

Hertz-dev:首个会话音频开源模型 全双工实时语音交互 120毫秒超低延迟

322 VIEWS
2024年11月5日
快手发布“可灵”视频大模型  类似Sora技术路线 能生成超过120秒 1080P视频

快手发布“可灵”视频大模型 类似Sora技术路线 能生成超过120秒 1080P视频

1.4k VIEWS
2024年6月8日
Power-over-Skin “皮肤供电”技术 让可穿戴设备无需电池也能工作

Power-over-Skin “皮肤供电”技术 让可穿戴设备无需电池也能工作

313 VIEWS
2024年10月17日
将TI-84计算器改装连接到互联网 并接入ChatGPT 实现作弊功能

将TI-84计算器改装连接到互联网 并接入ChatGPT 实现作弊功能

160 VIEWS
2024年9月23日
阿里云发布Qwen 2开源模型 性能超越目前所有开源模型和国内闭源模型

阿里云发布Qwen 2开源模型 性能超越目前所有开源模型和国内闭源模型

606 VIEWS
2024年6月7日
𝕏/Twitter 算法解析 如何提高自己的粉丝和帖子的曝光量

𝕏/Twitter 算法解析 如何提高自己的粉丝和帖子的曝光量

139 VIEWS
2024年7月8日
Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Fireworks AI新功能 能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

454 VIEWS
2024年12月24日
Vchitect 2.0:上海人工智能实验室开发的视频生成模型 可生成5 到 20 秒的高清短视频

Vchitect 2.0:上海人工智能实验室开发的视频生成模型 可生成5 到 20 秒的高清短视频

306 VIEWS
2024年9月13日
ToucanTTS:支持语言种类最多的 TTS 模型 支持超过7000种语言的语音合成

ToucanTTS:支持语言种类最多的 TTS 模型 支持超过7000种语言的语音合成

545 VIEWS
2024年6月28日
一款开源的 Claude Artifacts 项目 可通过 Llama 3.1 405B 生成完整的 React 应用程序和组件

一款开源的 Claude Artifacts 项目 可通过 Llama 3.1 405B 生成完整的 React 应用程序和组件

435 VIEWS
2024年8月3日

Copyright (c) 2024 by Xiaohu.AI.

  • About
  • Contact

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In

Add New Playlist

No Result
View All Result
  • Home
  • AI 工具
  • XiaoHu.AI 学院
    • AI 教程
    • AI 课程
  • XiaoHu.AI日报
  • 开源项目案例库
    • AI 论文
    • AI 资源
    • AI 项目
  • 加入会员
  • →社群
  • Login

© 2024 Xiaohu.AI

Are you sure want to unlock this post?
Unlock left : 0
Are you sure want to cancel subscription?
转到手机版