国内一个由北大和Rabbitpre AI发起的Open-Sora Plan的项目,旨在重现 OpenAI 的视频生成模型Sora。技术框架,如下所示:
Video VQ-VAE,这将视频压缩成潜在的时间和空间维度。
Denoising Diffusion Transformer。
Condition Encoder(条件编码器),这支持多个条件输入。
支持可变长宽比、可变分辨率和可变时长,如下所示:
可变长宽比,实现了并行批量训练的动态掩蔽策略,同时参考FIT保持灵活的纵横比。具体来说,调整高分辨率视频的大小,使其最长边为 256 像素,保持宽高比,然后在右侧和底部填充零,以实现一致的 256x256 分辨率。这有助于 videovae 批量编码视频,并方便扩散模型使用自己的注意力掩模对批量潜伏进行去噪。
可变分辨率,在推理过程中,使用位置插值来启用可变分辨率采样,尽管是在固定的 256x256 分辨率上进行训练。将可变分辨率噪声潜伏的位置索引从 [0, seq_length-1] 缩小到 [0, 255],以使它们与预训练范围对齐。这种调整使得基于注意力的扩散模型能够处理更高分辨率的序列。
可变时长,在VideoGPT中使用视频 VQ-VAE将视频压缩为潜在视频,从而实现多持续时间生成。将空间位置插值扩展到时空版本,以处理可变持续时间的视频。
参考文献:
[1] 项目地址:https://pku-yuangroup.github.io/Open-Sora-Plan/
[2] 代码:https://github.com/PKU-YuanGroup/Open-Sora-Plan
好文章,需要你的鼓励
腾讯混元等机构联合提出PREF-GRPO方法,首次采用成对偏好比较替代传统评分,成功解决AI图像生成中的奖励欺骗问题。同时构建UNIGENBENCH评测基准,包含600测试案例和27个细粒度评价维度,为行业提供更精确的模型评估标准。实验显示新方法在多项指标上显著优于传统方法,特别在复杂任务上提升明显。
亚马逊发布Lens Live AI功能,用户可通过手机摄像头扫描任何物品进行实时购物。该技术利用人工智能识别用户拍摄的物品,并在亚马逊平台上匹配相关商品,提供即时购买选项。这一创新功能将大幅简化购物流程,用户只需"看到即可购买",为在线购物体验带来革命性改变。
蚂蚁集团与西湖大学联合开发的AWORLD开源框架,通过分布式并行训练将AI助手的练习效率提升14.6倍,成功将Qwen3-32B模型在GAIA测试中的准确率从21.59%提升至32.23%,在最困难任务上甚至超越了GPT-4o等商业AI产品,为"从练习中学习"的AI训练理念提供了实用解决方案。