Adobe 首次涉足生成式 AI 视频领域,推出了能将静态图像转换为视频以及延长现有视频片段长度的新功能。
生成式视频正迅速成为 AI 领域的新战场。OpenAI 去年年底在部分国家推出了其 Sora 服务,加入了 Runway 和 Synthesia 等已经成熟的服务行列。
现在,Adobe 将视频功能加入其 Firefly AI 服务组合中,提供以下功能:
- 根据文本提示生成五秒钟短视频片段 - 提供静态图像作为 AI 参考,并将其转换为视频片段 - 通过 Adobe Premiere Pro 中的新型 Generative Extend 功能延长视频片段
除了将 AI 视频功能添加到 Premiere Pro 中,Adobe 还将推出新的 Firefly 网络应用程序,用户可以在其中生成视频。该公司声称,该服务生成的所有视频都是"知识产权友好型"的,这意味着创作者可以将其添加到内容中,而不必担心版权侵权问题。
为什么使用生成式视频?
由于生成的视频片段长度有限,不太可能有人会使用 Adobe 的服务来制作完整的电影甚至短片。相反,Adobe 认为生成式视频的主要用途是作为衬景素材、填补时间轴空白或在标题和片尾字幕后提供背景图像等。
Adobe 展示了几种 AI 可用于生成视觉特效的方式,这可能会节省手动创建此类效果的成本。例如,他们展示了如何创建卡通风格的烟雾效果或火球爆炸效果。
也许 Adobe 生成式视频最有趣的用途是将静态图像转换为动态视频的能力。该公司演示了如何将在冰岛风景中拍摄的马匹静态图像转换为短视频片段。附带的文本提示要求马匹朝着镜头走来,风轻轻吹拂。大约 90 秒内,就生成了全高清视频片段。虽然马的移动略显不自然,但如果不仔细研究视频,很难注意到这一点。
Adobe 的网络应用程序包含一系列控件,允许创作者微调生成的视频。他们可以在宽屏和竖屏纵横比之间选择,后者更适合社交媒体。他们可以选择摄像机角度,还可以确定片段中的摄像机运动类型,例如左右平移或放大。
生成式视频也被集成到 Premiere Pro 中,可用于人工延长真实素材的长度。在需要让镜头多持续几秒钟的情况下,AI 可以根据摄像机拍摄的内容生成新素材,这与目前在 Photoshop 中扩展图像大小的方式类似。
添加到网络服务中的其他视频 AI 工具包括:可以将手工制作的模型或草图作为生成式视频的参考,帮助电影制作者预览场景拍摄效果。AI 还可以将视频或音频翻译成 20 种不同的语言,同时保持"真实的声音"。
新的 Adobe AI 计划
对于创作者来说,不太好的消息是,他们可能已经在为 Creative Cloud 订阅支付高额月费,而生成式视频服务将产生额外费用。
Firefly Standard 每月提供 2,000 个视频/音频积分,Adobe 表示这将允许创作者生成仅 20 个五秒钟的全高清片段,起价 9.99 美元每月。Firefly Pro 将数量提高到 7,000 个积分或 70 个短视频片段,起价 29.99 美元。
该服务从今天开始提供。
好文章,需要你的鼓励
本文评测了六款控制台平铺终端复用器工具。GNU Screen作为老牌工具功能强大但操作复杂,Tmux更现代化但学习曲线陡峭,Byobu为前两者提供友好界面,Zellij用Rust编写界面简洁易用,DVTM追求极简主义,Twin提供类似TurboVision的文本界面环境。每款工具都有各自特点和适用场景。
韩国汉阳大学联合高通AI研究院开发出InfiniPot-V框架,解决了移动设备处理长视频时的内存限制问题。该技术通过时间冗余消除和语义重要性保留两种策略,将存储需求压缩至原来的12%,同时保持高准确性,让手机和AR眼镜也能实时理解超长视频内容。
网络安全公司Snyk宣布收购瑞士人工智能安全研究公司Invariant Labs,收购金额未公开。Invariant Labs从苏黎世联邦理工学院分拆成立,专注于帮助开发者构建安全可靠的AI代理工具和框架。该公司提供Explorer运行时观察仪表板、Gateway轻量级代理、Guardrails策略引擎等产品,并在工具中毒和模型上下文协议漏洞等新兴AI威胁防护方面处于领先地位。此次收购将推进Snyk保护下一代AI原生应用的使命。
纽约大学研究团队通过INT-ACT测试套件全面评估了当前先进的视觉-语言-动作机器人模型,发现了一个普遍存在的"意图-行动差距"问题:机器人能够正确理解任务和识别物体,但在实际动作执行时频频失败。研究还揭示了端到端训练会损害原有语言理解能力,以及多模态挑战下的推理脆弱性,为未来机器人技术发展提供了重要指导。