国内一个由北大和Rabbitpre AI发起的Open-Sora Plan的项目,旨在重现 OpenAI 的视频生成模型Sora。技术框架,如下所示:
Video VQ-VAE,这将视频压缩成潜在的时间和空间维度。
Denoising Diffusion Transformer。
Condition Encoder(条件编码器),这支持多个条件输入。
支持可变长宽比、可变分辨率和可变时长,如下所示:
可变长宽比,实现了并行批量训练的动态掩蔽策略,同时参考FIT保持灵活的纵横比。具体来说,调整高分辨率视频的大小,使其最长边为 256 像素,保持宽高比,然后在右侧和底部填充零,以实现一致的 256x256 分辨率。这有助于 videovae 批量编码视频,并方便扩散模型使用自己的注意力掩模对批量潜伏进行去噪。
可变分辨率,在推理过程中,使用位置插值来启用可变分辨率采样,尽管是在固定的 256x256 分辨率上进行训练。将可变分辨率噪声潜伏的位置索引从 [0, seq_length-1] 缩小到 [0, 255],以使它们与预训练范围对齐。这种调整使得基于注意力的扩散模型能够处理更高分辨率的序列。
可变时长,在VideoGPT中使用视频 VQ-VAE将视频压缩为潜在视频,从而实现多持续时间生成。将空间位置插值扩展到时空版本,以处理可变持续时间的视频。
参考文献:
[1] 项目地址:https://pku-yuangroup.github.io/Open-Sora-Plan/
[2] 代码:https://github.com/PKU-YuanGroup/Open-Sora-Plan
好文章,需要你的鼓励
铠侠正在测试最新的UFS v4.1嵌入式闪存芯片,专为智能手机和平板电脑设计,可提供更快的下载速度和更流畅的设备端AI应用性能。该芯片采用218层TLC 3D NAND技术,提供256GB、512GB和1TB容量选择。相比v4.0产品,随机写入性能提升约30%,随机读取性能提升35-45%,同时功耗效率改善15-20%。新标准还增加了主机发起碎片整理、增强异常处理等功能特性。
上海AI实验室团队提出创新的异步拍摄方案,仅用普通相机就能实现高速4D重建。该方法通过错开相机启动时间将有效帧率从25FPS提升至100-200FPS,并结合视频扩散模型修复稀疏视角导致的重建伪影。实验结果显示,新方法在处理快速运动场景时显著优于现有技术,为低成本高质量4D内容创作开辟新路径。
谷歌在伦敦云峰会上发布Firebase Studio更新,新增Gemini命令行界面集成、模型上下文协议支持和"代理模式"。代理模式提供三种AI协作层次:对话式"询问"模式用于头脑风暴,人机协作代理需开发者确认代码变更,以及几乎完全自主的代理模式。尽管谷歌声称已有数百万应用使用该平台,但目前仍需精心设计提示词,非工程师用户还无法直接创建成熟应用。
上海AI实验室联手复旦大学提出了POLAR方法,这是一种革命性的奖励模型训练技术。通过让AI学会识别不同策略间的差异而非死记评分标准,POLAR在多项任务上实现了显著提升,7B参数模型超越72B现有最强基线,为AI对齐问题提供了全新解决思路。