AnimateDiff-Lightning：快如闪电的视频生成模型速度提升十倍

字节跳动的AnimateDiff-Lightning发布 AnimateDiff-Lightning能够更快地根据文本描述生成视频，比起原来的AnimateDiff模型，速度提升十倍以上。 除了能够根据文本生成视频之外，AnimateDiff-Lightning还可以进行视频到视频的生成，比如可以将现有视频转换成不同风格的视频。 主要功能 快速生成 ：比起原来的AnimateDiff模型，速度提升十倍以上。 多步骤选择 ：提供了不同步骤的模型版本（比如1步、2步、4步和8步），用户可以根据需要选择合适的版本，以平衡生成速度和视频质量。 与多种风格的基础模型兼容： 可以与多种不同风格的基础模型结合使用，包括真实风格和动漫卡通风格，这样可以生成各种不同风格的视频。 适用场景 ：不仅可以根据文本描述生成视频，还能进行视频到视频的生成，即输入一个视频，输出一个风格变换后的新视频。 实际应用建议 ：通过探索不同的设置，发现在2步模型上使用3个推理步骤可以获得很好的结果。特定的基础模型在使用配置（CFG）时能产生更好的结果，同时推荐使用Motion LoRAs来产生更强烈的运动效果。 [video width="3072" height="1024" mp4="https://img.xiaohu.ai/2024/03/animatediff_lightning_samples_t2v.mp4"][/video] 技术原理 AnimateDiff-Lightning 基于大语言模型（LLM），可以理解文本描述并根据这些描述生成视频内容。通过大量的数据训练，学会了识别和生成具有特定风格和内容的视频。 基于渐进式对抗性扩散蒸馏 ：AnimateDiff-Lightning采用了渐进式对抗性扩散蒸馏的方法。在这种方法中，通过逐步减少生成过程中需要的步骤数，来加速视频的生成。这意味着模型可以更快地从文本描述中生成视频，同时尽可能保持视频的质量。

蒸馏多个基础模型的概率流 ：AnimateDiff-Lightning通过同时对多个基础扩散模型的概率流进行蒸馏，生成一个能够兼容更广泛风格的单一蒸馏动作模块。这使得AnimateDiff-Lightning不仅能够快速生成视频，还能够适应不同的视觉风格和内容需求。

风格化基础模型的应用 ：在生成过程中，AnimateDiff-Lightning推荐使用特定的风格化基础模型作为其生成过程的起点。这包括真实风格和动漫卡通风格的模型。这样做可以进一步提升生成视频的多样性和适用性。

优化生成流程 ：AnimateDiff-Lightning对生成过程进行了优化，比如开启针对未测试代码行的测试生成特性，并改善了过滤机制，使得生成的测试不仅仅是增加代码覆盖率，还能够捕获独特但重要的测试案例。

生成质量和速度的平衡 ：通过提供不同步骤数的蒸馏模型（例如1步、2步、4步和8步模型），AnimateDiff-Lightning允许用户根据具体需求平衡生成速度和视频质量。这种灵活性使得AnimateDiff-Lightning可以适应不同的应用场景，从快速原型到高质量的视频内容生成。

还提供了工作流，可直接下载在 ComfyUI中使用。 Download animatediff_lightning_workflow.json and import it in ComfyUI. 模型下载： https://huggingface.co/ByteDance/AnimateDiff-Lightning 论文： https://arxiv.org/abs/2403.12706