在生成式 AI时代,Adobe为Photoshop核心的图像合成功能带来了革命性升级。Harmonize作为Photoshop最新的测试版功能,以图像协调处理过程命名,该工具能够帮助用户将图像无缝融合到项目中,通过自然混合的方式将对象融入背景。
该工具使用AI技术创建新的光照环境,包括色彩和阴影的调整。只需点击一下Harmonize按钮,Photoshop就会创建一个不可见的图层并将其应用到图像上,使其与项目的其他部分几乎完美融合,而不会破坏任何一张原始图像。前后对比效果显著,旨在将原本繁琐、需要注重细节的编辑过程缩短到几分钟内。
在去年秋季Adobe Max创作者大会上,Photoshop用户首次看到了这一仍处于研究概念阶段的工具。Adobe应用研究科学家Mengwei Ren作为该项目的主要工程师之一,分享了这个工具对Photoshop用户的巨大潜力。在观众的"非常震惊"的积极反应后,她和Photoshop团队致力于完善该工具。现在发布的测试版工具是多年机器学习和图像工作的成果。
Ren表示:"我们尝试用不同的方法来解决这个问题。我们最初只是尝试对人脸进行重新照明,然后我们还尝试了一个单独的模型来只添加阴影。在某个时候,因为生成式 AI技术真正在发展,我们开始大胆思考,'好吧,我们真的能把这些整合到一个统一的模型中吗?'"
自Max大会以来,团队已经增强了该工具的分辨率以获得更高质量的输出,创建了更精确的控件来为用户提供像素级对齐,并扩展了训练数据集以帮助工具为任何图像创建准确的光照条件。根据Adobe的AI用户指导原则和条款,该公司不会使用客户内容进行训练,其模型是基于授权内容训练的,包括Adobe Stock和公共领域内容。
Photoshop产品管理高级总监Stephen Nielsen表示,更快、更流畅的合成是Adobe团队近十年来一直在努力的方向。AI时代之前改进选择和背景移除工具的工作为Harmonize奠定了基础。生成式 AI技术帮助将拼图的所有不同部分组合在一起,使人们能够快速使用。
Nielsen说:"人们经常谈论某些东西被'粗糙地Photoshop处理',其中很大一部分与你如何很好地匹配光照、色调和阴影有关。这使得实现真正好的合成变得更快、更高效、更容易。"
像任何测试版工具一样,特别是涉及AI的工具,Harmonize并不完美。未来的工作将专注于在处理更复杂对象(如人脸)时保持更高的质量水平。保持面部身份是"最难解决的事情",Nielsen说,这将是持续研究的领域。
Photoshop产品管理总监Joel Baer表示:"期望,特别是来自专业用户的期望,是专业的商业结果。在许多情况下,根据你与Harmonize结合的资产,你可以得到这样的结果。在某些情况下,需要做更多的工作来完善输出。我们知道有一些用例需要继续优化和改进。"
目前,你需要使用测试版桌面应用程序或网络应用程序来使用这些新的AI工具。Harmonize功能还可以通过Photoshop iPhone移动应用程序使用。包含Photoshop的Adobe订阅计划起价为每月20美元。
Harmonize是Photoshop更长AI之路上的最新一步。即将为Photoshop用户带来的另外两个生成式 AI变化是新的生成式放大工具和生成式删除功能的升级。放大是一个常见的生成式 AI过程,用于改善现有图像,比如通过澄清和添加更精细的细节。在这种情况下,Photoshop工具承诺将图像分辨率提升到800万像素。更多的像素意味着你的图像应该更清晰。
新更新的删除工具在选择要擦除的对象时应该更精确,受影响的区域应该更无缝地融合,以获得更清洁的最终编辑效果。
Nielsen表示,在Photoshop中添加AI的目标是增强而不是取代人类编辑的工作。但许多创作者担心生成式 AI的开发和部署,从模型训练期间涉嫌的版权侵权到充斥在线空间的AI垃圾内容以及工作安全担忧。
Q&A
Q1:Harmonize功能是什么?它能做什么?
A:Harmonize是Adobe Photoshop最新的测试版AI功能,以图像协调处理过程命名。该工具能够帮助用户将图像无缝融合到项目中,通过AI技术创建新的光照环境,包括色彩和阴影的调整,使对象自然地融入背景。
Q2:使用Harmonize功能需要什么条件?
A:目前需要使用Photoshop的测试版桌面应用程序或网络应用程序才能使用这些新的AI工具。Harmonize功能还可以通过Photoshop iPhone移动应用程序使用。包含Photoshop的Adobe订阅计划起价为每月20美元。
Q3:Harmonize功能还有哪些需要改进的地方?
A:像任何测试版工具一样,Harmonize并不完美。未来的工作将专注于在处理更复杂对象(如人脸)时保持更高的质量水平。保持面部身份是最难解决的问题,这将是持续研究的领域。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。