Adobe正在更新其AI视频生成应用Firefly,新增了支持精确提示词编辑的视频编辑器,同时添加了更多第三方模型用于图像和视频生成,包括Black Forest Labs的FLUX.2和Topaz Astra。
此前,Firefly仅支持基于提示词的生成功能,如果视频的任何部分不符合要求,用户必须重新创建整个片段。有了新的编辑器,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图,让用户能够轻松调整帧、声音和其他特性。
该公司首次在10月份宣布了这个新的视频编辑器的私人测试版,现在正向所有用户推出。
该公司表示,使用Runway的Aleph模型,用户可以给Firefly具体的指令,比如"将天空改为阴天并降低对比度"或"稍微放大主要对象"。
通过Adobe自己的Firefly Video模型,用户现在可以上传起始帧和摄像机运动的参考视频,并告诉它为正在处理的视频重现该摄像机角度。
该公司还表示,用户现在可以使用Topaz Labs的Astra模型将视频升级到1080p或4K。Black Forest Labs的FLUX.2图像生成模型也即将加入该应用,同时还有协作板功能。
该公司表示,FLUX.2将立即在各平台的Firefly上可用,Adobe Express用户将能够从1月份开始使用FLUX.2。
随着竞争对手发布新的图像和视频生成模型,Adobe希望吸引用户更多地使用其应用。除了Firefly应用的新更新外,该公司表示Firefly Pro、Firefly Premium、7000积分和50000积分计划的订阅者将在1月15日之前获得所有图像模型和Adobe Firefly Video模型在Firefly应用中的无限生成。
Adobe今年对其Firefly模型和应用进行了大量改进。2月份,该公司推出了让用户访问各种级别图像和视频生成的订阅服务;然后在年内推出了新的Firefly网页应用和移动应用,并在Firefly应用中添加了对更多第三方模型的支持。
Q&A
Q1:Adobe Firefly新增的视频编辑功能有什么特点?
A:新的视频编辑器支持基于提示词的精确编辑,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图让用户轻松调整帧、声音等特性。不再需要因为部分不满意而重新创建整个视频片段。
Q2:Firefly现在支持哪些第三方模型?
A:Firefly新增了多个第三方模型支持,包括Runway的Aleph模型用于视频编辑指令,Topaz Labs的Astra模型用于将视频升级到1080p或4K,以及Black Forest Labs的FLUX.2图像生成模型。
Q3:Adobe为什么要在Firefly中集成这么多第三方模型?
A:随着竞争对手不断发布新的图像和视频生成模型,Adobe希望通过集成更多优质的第三方模型来吸引用户更多地使用其Firefly应用,提升产品竞争力和用户粘性。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。