近日，上海人工智能实验室推出新一代视频天生大模型 “诗人・筑梦 2.0”(Vchitect 2.0)。根据官方先容，诗人・筑梦 2.0 是集文生视频、图生视频、插帧超分、演习系统一体化的视频天生大模型。
主页：https://vchitect.intern-ai.org.cn/Github: https://github.com/Vchitect/Vchitect-2.0
本文将详细先容筑梦 2.0 背后的核心亮点与技能细节。
视频加载中...
核心亮点
1、 支持更长的视频天生：
目前来看，筑梦 2.0 支持 5s-20s 长视频天生，超过其他开源模型的天生时长。
视频链接：https://mp.weixin.qq.com/s/gUObw9ZqwAhoqresKDlz7Q
视频链接：https://mp.weixin.qq.com/s/gUObw9ZqwAhoqresKDlz7Q
同时支持高达 720x480 分辨率的天生。该模型还能够处理多种视频格式，包括横屏、竖屏、4:3、9:16 和 16:9 等比例，极大地扩展了其运用处景。
视频链接：https://mp.weixin.qq.com/s/gUObw9ZqwAhoqresKDlz7Q
视频链接：https://mp.weixin.qq.com/s/gUObw9ZqwAhoqresKDlz7Q
2. 新一代视频增强算法 VEnhancer
与其他开源模型不同，筑梦 2.0 同步开源了用于视频增强的天生式模型 ——VEnhancer，集成了插帧、超分辨率和修复功能。该增强算法可在 2K 分辨率、24fps 的情形下天生更加清晰、流畅的视频，办理了视频抖动等常见问题，显著提升了视频的稳定性。
视频链接：https://mp.weixin.qq.com/s/gUObw9ZqwAhoqresKDlz7Q
此外，该算法还可用于增强其他天生模型的视频表现，GitHub 中展示了它对快手可灵天生视频的显著改进，对付追求高质量内容输出的创作者来说，VEnhancer 无疑是一个主要的工具。
3. 环球首个支持长视频天生评测的框架
该在原有的 VBench 评测框架根本上，优化并升级了对长视频天生的评测能力，目前已包含 Gen-3、可灵、OpenSora 等主流模型。这使开拓者和用户能够更系统地评估模型性能，尤其是在长视频天生方面。诗人・筑梦 2.0 在开源 2B 模型中表现卓越，性能乃至可以媲美开源最优的 5B 模型。
筑梦 2.0 技能解析
1、模型架构
根据开源代码剖析，诗人・筑梦 2.0 采取了时下热门的扩散式 Transformer（Diffusion Transformer）网络模型。不同于 CogVideoX 的全把稳力机制，筑梦 2.0 通过并行构造的 Transformer 模块处理视频的空间和韶光信息，包括自把稳力（self-attention）、交叉把稳力（cross-attention）和韶光把稳力（temporal-attention）。
详细来说，自把稳力模块卖力每一帧之间的 token 交互，交叉把稳力则利用所有帧的 token 作为查询，文本 token 作为键和值，而韶光把稳力则在不同帧的相同位置之间实行 token 的把稳力操作。终极，模型通过线性层领悟自把稳力和交叉把稳力的输出，再与韶光把稳力的结果相加，从而实现高效的视频天生任务处理。
2、演习框架
此外，诗人・筑梦 2.0 同时开源了他们的演习和推理框架 LiteGen。从改框架的优化先容上看，该框架针对性地供应了 diffusion 任务所需的各项优化。
对付如何进一步优化显存以支持更大序列长度的演习这一方面，他们的开源代码采取了 Activation Offload 与 Sequence Parallel 技能进行优化。在实现上，他们的 Activation Offload 在打算时将暂未利用的中间激活 offload 到 CPU 内存上，须要时再拷贝到显存中，这样可以让 GPU 显存中只管即便只留有当前打算所必须的激活，减少了显存峰值利用量。从开源代码的剖析开看，他们采取了通信打算重叠的办法实现 Activation Offload，这将有助于降落设备间拷贝通信对整体性能的影响。
据其开源代码的解释描述，在 A100 GPU 上，采取 Activation Offload 让筑梦 2.0 的 2B 模型单卡序列长度提升了 42%；进一步运用 Sequence Parallel 拓展至 8 卡，最大序列长度提升 8.6 倍，可以知足分钟级视频天生演习的打算需求。
从其代码实现上来看，他们的框架设计得较为轻量，利用接口简洁，可以在改动比较小的情形下集成框架内的各项优化，在易用性上具有不错的上风。
团队先容
上海人工智能实验室的诗人·筑梦团队由来自上海人工智能实验室和新加坡南洋理工大学S-Lab的成员组成，专注于视频天生技能的前沿研究与运用开拓。他们致力于通过创新的算法和架构优化，提升视频天生模型的质量和效率。近期，他们的事情包括VBench、VideoBooth 、FreeU、FreeInit、Latte 、VEnhancer等，这些项目在视频天生、插帧、超分辨率处理以及天生质量评估等多个关键领域都取得了显著进展。