Adobe正在更新其AI视频生成应用Firefly,新增了支持精确提示词编辑的视频编辑器,同时添加了更多第三方模型用于图像和视频生成,包括Black Forest Labs的FLUX.2和Topaz Astra。
此前,Firefly仅支持基于提示词的生成功能,如果视频的任何部分不符合要求,用户必须重新创建整个片段。有了新的编辑器,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图,让用户能够轻松调整帧、声音和其他特性。
该公司首次在10月份宣布了这个新的视频编辑器的私人测试版,现在正向所有用户推出。
该公司表示,使用Runway的Aleph模型,用户可以给Firefly具体的指令,比如"将天空改为阴天并降低对比度"或"稍微放大主要对象"。
通过Adobe自己的Firefly Video模型,用户现在可以上传起始帧和摄像机运动的参考视频,并告诉它为正在处理的视频重现该摄像机角度。
该公司还表示,用户现在可以使用Topaz Labs的Astra模型将视频升级到1080p或4K。Black Forest Labs的FLUX.2图像生成模型也即将加入该应用,同时还有协作板功能。
该公司表示,FLUX.2将立即在各平台的Firefly上可用,Adobe Express用户将能够从1月份开始使用FLUX.2。
随着竞争对手发布新的图像和视频生成模型,Adobe希望吸引用户更多地使用其应用。除了Firefly应用的新更新外,该公司表示Firefly Pro、Firefly Premium、7000积分和50000积分计划的订阅者将在1月15日之前获得所有图像模型和Adobe Firefly Video模型在Firefly应用中的无限生成。
Adobe今年对其Firefly模型和应用进行了大量改进。2月份,该公司推出了让用户访问各种级别图像和视频生成的订阅服务;然后在年内推出了新的Firefly网页应用和移动应用,并在Firefly应用中添加了对更多第三方模型的支持。
Q&A
Q1:Adobe Firefly新增的视频编辑功能有什么特点?
A:新的视频编辑器支持基于提示词的精确编辑,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图让用户轻松调整帧、声音等特性。不再需要因为部分不满意而重新创建整个视频片段。
Q2:Firefly现在支持哪些第三方模型?
A:Firefly新增了多个第三方模型支持,包括Runway的Aleph模型用于视频编辑指令,Topaz Labs的Astra模型用于将视频升级到1080p或4K,以及Black Forest Labs的FLUX.2图像生成模型。
Q3:Adobe为什么要在Firefly中集成这么多第三方模型?
A:随着竞争对手不断发布新的图像和视频生成模型,Adobe希望通过集成更多优质的第三方模型来吸引用户更多地使用其Firefly应用,提升产品竞争力和用户粘性。
好文章,需要你的鼓励
火箭实验室(Rocket Lab)宣布计划以现金加股票方式,斥资80亿美元收购主要卫星运营商铱星通信(Iridium Communications),交易预计于2027年中完成。铱星目前运营着由66颗活跃低轨卫星组成的星座网络,拥有约255万活跃用户,2024年营收达8.717亿美元。收购完成后,Rocket Lab计划借助其新型重型运载火箭Neutron及Lightning卫星平台,扩大铱星星座规模,开拓未被覆盖的市场并降低发射成本。
腾讯等机构提出ViQ框架,通过两阶段渐进量化训练,让离散视觉编码在多模态理解和图像重建上同时追平连续特征编码器,训练速度最高提升70%。
音乐流媒体平台Tidal宣布,将于7月中旬启用自动化工具,对完全由AI生成的音乐添加"AI"标识,并移除具有欺诈性质的曲目。平台还将取消AI生成音乐的版税资格,仅向真人创作、演唱的原创音乐开放变现渠道。此外,Tidal明确将高频异常上传、干扰真实艺术家等行为列为欺诈活动。Deezer、Spotify等竞争对手此前已推出类似检测机制,流媒体行业正加速构建AI内容治理体系。
香港科技大学与华为联合提出LISA训练方法,通过让副网络对齐"似然分数",将ControlNet等图像生成模型的训练收敛速度提升逾2.78倍,同时改善图像质量与条件控制精度。