Adobe推出了两个新版本的文本到图像生成式 AI 模型,并同时带来了一系列全新的 Firefly 功能和针对 Photoshop 及 Illustrator 的 Creative Cloud 应用更新。
第四代 Firefly 图像模型遵循了 OpenAI 和 Google 在其聊天机器人发布时树立的类似先例,为用户提供了在追求速度与效率的模型和适用于更高要求任务的模型之间的选择。
Adobe 表示,Firefly 图像模型 4 是迄今为止其“速度最快、可控性最强、最真实的 Firefly 图像模型”,使用户能够生成最高 2K 分辨率的图像,并在风格、格式尺寸和相机角度方面拥有更大控制权。相较于前一代产品,这些更新旨在提升图像输出质量,同时实现“快速高效”地生成图像。对于需要更多“细节和真实感”的图像提示,Adobe 还推出了 Firefly 图像模型 4 Ultra,它在渲染包含细小结构的“复杂场景”方面具备更强能力。
Adobe 并未具体说明这些示例采用的是哪一种 Firefly 图像模型 4,但即便小孩面部的阴影略显奇怪,这些作品仍然令人印象深刻。
新的 Firefly 图像模型现已通过 Firefly 网页应用全面上线,同时搭载了 Adobe 之前以公测形式发布的文本到视频与文本到矢量模型。今天,另一款全新的 Firefly 网页平台工具 —— Firefly Boards 也以公测形式推出。这是一款类似 FigJam 的协作式生成式 AI 灵感板应用,该工具在 Adobe 的 Max 活动中于十月作为 “Project Concept” 首次亮相。Adobe 同时表示,针对 iOS 与 Android 设备的 Firefly 移动应用程序“即将推出”。
现在,Firefly 网页应用在生成图像或视频时也允许用户访问第三方 AI 模型。用户可以在 Adobe 自有 AI 模型之外,选择 OpenAI 的新 GPT 图像模型或 Google 的 Imagen 3 用于生成图像,或选择 Google 的 Veo 2 模型用于生成视频,并且 Adobe 还将陆续支持 Luma、Pika、Runway、fal.ai 和 Ideogram。
可以看出,Adobe 试图在同时拥抱第三方模型的同时,也力求使自家的模型具有鲜明特色。
不过,该公司将这些第三方产品描述为仅供“实验性”使用,而非可用于发表的成果,同时明确标注其自有模型为“商业安全”。鉴于 Adobe 使用公共或授权内容训练其 AI 模型,而 OpenAI、Google 和 Runway 无法宣称享有同样的训练基础,这一策略也就不足为奇。
此外,Adobe 还为其广受欢迎的 Creative Cloud 应用推出了一系列更新。经过去年公测后,Illustrator 的生成式形状填充和文本转图案工具现已全面上线;而 Photoshop 则简化了用户进行色彩调整的流程,并能自动选取诸如头发、服装以及特定面部特征等细节。Photoshop 中的动作面板亦获得更新,现在可“根据创作者的独特风格”为用户提供改进的编辑建议,这将构成 Adobe 计划嵌入照片编辑平台的创意 AI 助手的基础。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。