模型介绍

CogVideoX是一个开源版本的视频生成模型，与清影同源。

下表列出了我们目前提供的视频生成模型列表以及相关基本信息：

型号名称 CogVideoX-2B
提示语言 英语
推理所需的 GPU 内存（FP16） 如果使用SAT，则为 18GB ；如果使用扩散器，则为 36GB（将在 PR 合并之前进行优化）
微调所需的 GPU 内存（bs=1） 40GB
提示最大长度 226 个代币
视频长度 6 秒
每秒帧数 8 帧
解决 720 * 480
量化推理 不支持
多卡推理 不支持
下载链接（HF 扩散器模型） 🤗 Huggingface 🤖 ModelScope 💫 WiseModel
下载链接（SAT 模型） SAT

项目结构

该开源库将指导开发者快速上手CogVideoX开源模型的基本使用和微调示例。

推理

  • diffusers_demo：对推理代码的更详细解释，提到了常见参数的意义。
  • diffusers_vae_demo：单独执行VAE推理代码目前需要71GB内存，但后续会进行优化。
  • convert_demo：如何将用户输入转换为适合 CogVideoX 的格式。由于 CogVideoX 是在长字幕上进行训练的，因此我们需要使用 LLM 将输入文本转换为与训练分布一致。默认情况下，脚本使用 GLM4，但也可以将其替换为任何其他 LLM，例如 GPT、Gemini 等。
  • gradio_demo：一个简单的 gradio web UI，演示如何使用 CogVideoX-2B 模型生成视频。

  • web_demo：一个简单的流线型网络应用程序，演示如何使用 CogVideoX-2B 模型生成视频。

萨特

  • sat_demo：包含SAT权重的推理代码和微调代码，建议基于CogVideoX模型结构进行改进，创新研究人员使用此代码可以更好地进行快速堆叠和开发。

工具

该文件夹包含一些用于模型转换/标题生成等的工具。

  • convert_weight_sat2hf：将 SAT 模型权重转换为 Huggingface 模型权重。
  • caption_demo：字幕工具，一种理解视频并以文本形式输出的模型。

 

GitHub：https://github.com/Daudxu/CogVideo

网站免责声明
一、资源来源与版权

本网站所有资源及文章均源自互联网，经过我们的收集整理后呈现给用户。我们明确声明，本网站不直接参与任何资源的创作或制作过程，仅作为信息的传递者。若您发现本网站上的任何内容侵犯了您的合法权益（包括但不限于版权、商标权、专利权等），请立即通过以下联系方式与我们取得联系。在收到您的反馈并核实情况后，我们将迅速采取相应措施，包括但不限于删除侵权内容，以确保您的合法权益得到及时保护。

二、资源使用与责任

资源鉴别：本网站发布的资源可能包含水印、广告链接或其他引流信息，这是由资源原始来源决定的。我们提醒用户在使用这些资源时，应保持警惕，自行鉴别信息的真实性和适用性，避免受到不必要的干扰或误导。 非商业用途：本网站提供的资源仅供学习、研究及非商业性交流使用。我们鼓励用户尊重原创，支持正版。若您计划将本站资源用于商业目的，请务必先获得合法授权，否则因此产生的一切法律后果将由下载用户自行承担。

三、联系方式

为了更好地服务用户，解决您在使用本网站过程中可能遇到的问题或反馈侵权信息，我们提供了以下联系方式（请将“#”替换为“@”后使用）： 联系方式：contact#kukaylib.com

四、免责条款

本网站致力于为用户提供高质量的信息服务，但对于因网络状况、第三方干扰、不可抗力等因素导致的服务中断、数据丢失、信息错误等问题，本网站不承担任何责任。同时，本网站对于用户在使用本站资源过程中可能产生的任何直接、间接、偶然、特殊或惩罚性损失，也不承担任何法律责任。 请用户在使用本网站时，务必遵守相关法律法规及道德准则，自行承担因使用本站资源而产生的所有风险和后果。

五、更新与修订

本网站有权随时更新或修订本免责声明，更新或修订后的免责声明一经发布即具有法律效力。用户应定期访问本页面以了解最新的免责声明内容。 感谢您对本网站的理解与支持！我们将继续努力，为用户提供更加优质、便捷的信息服务。