Adobe正在更新其AI视频生成应用Firefly,新增了支持精确提示词编辑的视频编辑器,同时添加了更多第三方模型用于图像和视频生成,包括Black Forest Labs的FLUX.2和Topaz Astra。
此前,Firefly仅支持基于提示词的生成功能,如果视频的任何部分不符合要求,用户必须重新创建整个片段。有了新的编辑器,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图,让用户能够轻松调整帧、声音和其他特性。
该公司首次在10月份宣布了这个新的视频编辑器的私人测试版,现在正向所有用户推出。
该公司表示,使用Runway的Aleph模型,用户可以给Firefly具体的指令,比如"将天空改为阴天并降低对比度"或"稍微放大主要对象"。
通过Adobe自己的Firefly Video模型,用户现在可以上传起始帧和摄像机运动的参考视频,并告诉它为正在处理的视频重现该摄像机角度。
该公司还表示,用户现在可以使用Topaz Labs的Astra模型将视频升级到1080p或4K。Black Forest Labs的FLUX.2图像生成模型也即将加入该应用,同时还有协作板功能。
该公司表示,FLUX.2将立即在各平台的Firefly上可用,Adobe Express用户将能够从1月份开始使用FLUX.2。
随着竞争对手发布新的图像和视频生成模型,Adobe希望吸引用户更多地使用其应用。除了Firefly应用的新更新外,该公司表示Firefly Pro、Firefly Premium、7000积分和50000积分计划的订阅者将在1月15日之前获得所有图像模型和Adobe Firefly Video模型在Firefly应用中的无限生成。
Adobe今年对其Firefly模型和应用进行了大量改进。2月份,该公司推出了让用户访问各种级别图像和视频生成的订阅服务;然后在年内推出了新的Firefly网页应用和移动应用,并在Firefly应用中添加了对更多第三方模型的支持。
Q&A
Q1:Adobe Firefly新增的视频编辑功能有什么特点?
A:新的视频编辑器支持基于提示词的精确编辑,用户可以使用文本提示词来编辑视频元素、颜色和摄像机角度,还新增了时间轴视图让用户轻松调整帧、声音等特性。不再需要因为部分不满意而重新创建整个视频片段。
Q2:Firefly现在支持哪些第三方模型?
A:Firefly新增了多个第三方模型支持,包括Runway的Aleph模型用于视频编辑指令,Topaz Labs的Astra模型用于将视频升级到1080p或4K,以及Black Forest Labs的FLUX.2图像生成模型。
Q3:Adobe为什么要在Firefly中集成这么多第三方模型?
A:随着竞争对手不断发布新的图像和视频生成模型,Adobe希望通过集成更多优质的第三方模型来吸引用户更多地使用其Firefly应用,提升产品竞争力和用户粘性。
好文章,需要你的鼓励
OpenAI推出ChatGPT Images新版本GPT Image 1.5,承诺更好的指令遵循、更精确的编辑功能和高达4倍的图像生成速度。该模型面向所有ChatGPT用户和API开放。这是OpenAI在CEO奥特曼宣布"红色警报"后与谷歌Gemini竞争的最新升级。新模型提供后期制作功能,支持更精细的编辑控制,能在编辑过程中保持面部相似度、光照、构图和色调的视觉一致性,解决了传统AI图像工具迭代编辑时缺乏一致性的问题。
艾伦人工智能研究所开发的olmOCR 2通过创新的单元测试训练方法,将文档识别准确率提升至82.4%,在处理复杂数学公式、表格和多栏布局方面表现卓越。该系统采用强化学习和合成数据生成技术,实现了完全开源,为全球研究者提供了先进的OCR解决方案,推动了AI技术民主化发展。
Zoom推出AI Companion 3.0,采用联邦AI架构结合自研模型与OpenAI、Anthropic等第三方大语言模型。新版本具备智能工作流、对话式工作界面等功能,可将会议对话转化为洞察、进度跟踪和文档内容。系统支持加密传输,不使用客户内容训练模型。用户可通过ai.zoom.us访问,或以每月10美元独立购买。
苹果公司发布了包含40万张图片修改案例的AI训练数据集Pico-Banana-400K,涵盖35种修图操作类型。该数据集采用严格质量控制,包含成功失败案例对比和多轮修图场景。研究显示AI在全局修改方面表现优秀,但精细操作仍有挑战。这为AI修图技术发展奠定基础,未来将让修图软件更智能易用。