Adobe正在更新其AI视频生成应用Firefly,新增了支持精确提示词编辑的视频编辑器,同时添加了更多第三方模型用于图像和视频生成,包括Black Forest Labs的FLUX.2和Topaz Astra。
此前,Firefly仅支持基于提示词的生成功能,如果视频的任何部分不符合要求,用户必须重新创建整个片段。有了新的编辑器,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图,让用户能够轻松调整帧、声音和其他特性。
该公司首次在10月份宣布了这个新的视频编辑器的私人测试版,现在正向所有用户推出。
该公司表示,使用Runway的Aleph模型,用户可以给Firefly具体的指令,比如"将天空改为阴天并降低对比度"或"稍微放大主要对象"。
通过Adobe自己的Firefly Video模型,用户现在可以上传起始帧和摄像机运动的参考视频,并告诉它为正在处理的视频重现该摄像机角度。
该公司还表示,用户现在可以使用Topaz Labs的Astra模型将视频升级到1080p或4K。Black Forest Labs的FLUX.2图像生成模型也即将加入该应用,同时还有协作板功能。
该公司表示,FLUX.2将立即在各平台的Firefly上可用,Adobe Express用户将能够从1月份开始使用FLUX.2。
随着竞争对手发布新的图像和视频生成模型,Adobe希望吸引用户更多地使用其应用。除了Firefly应用的新更新外,该公司表示Firefly Pro、Firefly Premium、7000积分和50000积分计划的订阅者将在1月15日之前获得所有图像模型和Adobe Firefly Video模型在Firefly应用中的无限生成。
Adobe今年对其Firefly模型和应用进行了大量改进。2月份,该公司推出了让用户访问各种级别图像和视频生成的订阅服务;然后在年内推出了新的Firefly网页应用和移动应用,并在Firefly应用中添加了对更多第三方模型的支持。
Q&A
Q1:Adobe Firefly新增的视频编辑功能有什么特点?
A:新的视频编辑器支持基于提示词的精确编辑,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图让用户轻松调整帧、声音等特性。不再需要因为部分不满意而重新创建整个视频片段。
Q2:Firefly现在支持哪些第三方模型?
A:Firefly新增了多个第三方模型支持,包括Runway的Aleph模型用于视频编辑指令,Topaz Labs的Astra模型用于将视频升级到1080p或4K,以及Black Forest Labs的FLUX.2图像生成模型。
Q3:Adobe为什么要在Firefly中集成这么多第三方模型?
A:随着竞争对手不断发布新的图像和视频生成模型,Adobe希望通过集成更多优质的第三方模型来吸引用户更多地使用其Firefly应用,提升产品竞争力和用户粘性。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。