Adobe 首次涉足生成式 AI 视频领域,推出了能将静态图像转换为视频以及延长现有视频片段长度的新功能。
生成式视频正迅速成为 AI 领域的新战场。OpenAI 去年年底在部分国家推出了其 Sora 服务,加入了 Runway 和 Synthesia 等已经成熟的服务行列。
现在,Adobe 将视频功能加入其 Firefly AI 服务组合中,提供以下功能:
- 根据文本提示生成五秒钟短视频片段 - 提供静态图像作为 AI 参考,并将其转换为视频片段 - 通过 Adobe Premiere Pro 中的新型 Generative Extend 功能延长视频片段
除了将 AI 视频功能添加到 Premiere Pro 中,Adobe 还将推出新的 Firefly 网络应用程序,用户可以在其中生成视频。该公司声称,该服务生成的所有视频都是"知识产权友好型"的,这意味着创作者可以将其添加到内容中,而不必担心版权侵权问题。
为什么使用生成式视频?
由于生成的视频片段长度有限,不太可能有人会使用 Adobe 的服务来制作完整的电影甚至短片。相反,Adobe 认为生成式视频的主要用途是作为衬景素材、填补时间轴空白或在标题和片尾字幕后提供背景图像等。
Adobe 展示了几种 AI 可用于生成视觉特效的方式,这可能会节省手动创建此类效果的成本。例如,他们展示了如何创建卡通风格的烟雾效果或火球爆炸效果。
也许 Adobe 生成式视频最有趣的用途是将静态图像转换为动态视频的能力。该公司演示了如何将在冰岛风景中拍摄的马匹静态图像转换为短视频片段。附带的文本提示要求马匹朝着镜头走来,风轻轻吹拂。大约 90 秒内,就生成了全高清视频片段。虽然马的移动略显不自然,但如果不仔细研究视频,很难注意到这一点。
Adobe 的网络应用程序包含一系列控件,允许创作者微调生成的视频。他们可以在宽屏和竖屏纵横比之间选择,后者更适合社交媒体。他们可以选择摄像机角度,还可以确定片段中的摄像机运动类型,例如左右平移或放大。
生成式视频也被集成到 Premiere Pro 中,可用于人工延长真实素材的长度。在需要让镜头多持续几秒钟的情况下,AI 可以根据摄像机拍摄的内容生成新素材,这与目前在 Photoshop 中扩展图像大小的方式类似。
添加到网络服务中的其他视频 AI 工具包括:可以将手工制作的模型或草图作为生成式视频的参考,帮助电影制作者预览场景拍摄效果。AI 还可以将视频或音频翻译成 20 种不同的语言,同时保持"真实的声音"。
新的 Adobe AI 计划
对于创作者来说,不太好的消息是,他们可能已经在为 Creative Cloud 订阅支付高额月费,而生成式视频服务将产生额外费用。
Firefly Standard 每月提供 2,000 个视频/音频积分,Adobe 表示这将允许创作者生成仅 20 个五秒钟的全高清片段,起价 9.99 美元每月。Firefly Pro 将数量提高到 7,000 个积分或 70 个短视频片段,起价 29.99 美元。
该服务从今天开始提供。
好文章,需要你的鼓励
IBM Spyre加速器将于本月晚些时候正式推出,为z17大型机、LinuxONE 5和Power11系统等企业级硬件的AI能力提供显著提升。该加速器基于定制芯片的PCIe卡,配备32个独立加速器核心,专为处理AI工作负载需求而设计。系统最多可配置48张Spyre卡,支持多模型AI处理,包括生成式AI和大语言模型,主要应用于金融交易欺诈检测等关键业务场景。
加拿大女王大学研究团队首次对开源AI生态系统进行端到端许可证合规审计,发现35.5%的AI模型在集成到应用时存在许可证违规。他们开发的LicenseRec系统能自动检测冲突并修复86.4%的违规问题,揭示了AI供应链中系统性的"许可证漂移"现象及其法律风险。
意大利初创公司Ganiga开发了AI驱动的智能垃圾分拣机器人Hoooly,能自动识别并分类垃圾和可回收物。该公司产品包括机器人垃圾桶、智能盖子和废物追踪软件,旨在解决全球塑料回收率不足10%的问题。2024年公司收入50万美元,已向谷歌和多个机场销售超120台设备,计划融资300万美元并拓展美国市场。
这项由剑桥大学、清华大学和伊利诺伊大学合作的研究首次将扩散大语言模型引入语音识别领域,开发出Whisper-LLaDA系统。该系统具备双向理解能力,能够同时考虑语音的前后文信息,在LibriSpeech数据集上实现了12.3%的错误率相对改进,同时在大多数配置下提供了更快的推理速度,为语音识别技术开辟了新的发展方向。