苹果全球开发者大会总是充满AI相关内容,但这次有一个照片功能真的让我眼前一亮。
在本周一的WWDC主题演讲中,苹果展示了照片应用中几项全新编辑功能,我认为这些功能将具有切实的使用价值。除了现有的"清除"工具(可以去除照片中不想要的干扰元素)之外,用户还将能够对照片边缘进行延伸扩展。
不过,真正吸引我注意的是"空间重构"功能——它允许用户调整照片构图,模拟你希望当初站在不同位置拍摄的效果。
上述所有功能均采用生成式AI技术,将统一归入照片应用编辑界面中新增的"工具"分类下。iOS 27的首个开发者测试版现已向注册开发者开放。
更多AI,更少滥用
正是因为市面上泛滥的AI垃圾内容,生成式AI已经成为摄影师们刻意保持距离(或者说应该保持距离)的技术。这也包括苹果在WWDC主题演讲中展示的Image Playground应用所生成的作品。
但生成式AI并不一定意味着完全由文字提示词创建的图像。当它被应用于局部区域时,例如擦除主体脚边的一片垃圾,生成式AI就能完成像素替换这类繁琐的工作,否则摄影师就得花时间在Photoshop等软件中手动修图。谷歌的Pixel手机也搭载了类似的魔法橡皮擦工具。
空间重构正是这项技术用于提升真实拍摄照片效果的绝佳案例。
空间重构功能的工作原理
苹果的空间照片技术利用AI判断平面照片中的景深,为其赋予3D效果——当你倾斜手机或通过Vision Pro头显观看时,照片会做出相应响应,即使原本并非以空间照片模式拍摄,同样适用。这项技术甚至还能让iPhone锁屏照片呈现出立体感。
说实话,这种效果的质量相当不错。照片主体与背景之间的分离通常不会显得突兀,也不会出现"抠图"式的生硬感。不过,在iPhone上这更多是个有趣的小花招(我没有Vision Pro,无法体验它在那种环境下的效果)。
空间重构则让这项技术真正发挥出实用价值。正如主题演讲的演示所示,用户可以拖动图像来调整拍摄视角,背景会随之变化,就像你在拍摄时实际向侧面迈了一步,或重新调整了相机角度一样。
Adobe Lightroom等照片编辑软件虽然允许调整整张照片的平面角度,通过绕中轴旋转来实现有限的重构,但代价是图像会产生变形。
完成视角重构后,照片应用会使用生成式AI来填充边缘出现的空白区域。
苹果表示,系统会通过设备端空间建模来判断景深,并借助私有云计算架构来处理图像生成任务。
苹果相机与照片软件总监Alok Deshpande表示:"系统只会生成新内容来填补视角偏移后产生的空白区域,从而确保重构后的照片与原始场景保持一致。"
最终呈现的,是一张来自你当初希望自己能走到的那个位置所拍摄的照片。
编辑后的照片质量是否真的能达到演示中的效果,还有待实际验证。我有时会使用照片应用中现有的"清除"功能,但生成像素的质量参差不齐。随着iOS 27承诺带来全新的图像模型,我希望编辑后的照片能够达到摄影师愿意分享的水准——也许不是用于展览或比赛,但至少可以轻松地分享给朋友或发布到社交媒体上。
Q&A
Q1:苹果空间重构功能是什么,它能实现什么效果?
A:空间重构是苹果在iOS 27中推出的照片编辑新功能,基于生成式AI技术。它能够分析照片中的景深信息,让用户通过拖动图像来调整拍摄视角,模拟出从不同位置拍摄的效果。调整后边缘产生的空白区域会由AI自动填充,最终生成一张看起来像是从理想角度拍摄的照片。
Q2:苹果空间重构和Adobe Lightroom的重构功能有什么区别?
A:Lightroom的重构功能是对整张照片平面进行旋转调整,虽然可以改变构图,但会导致图像产生畸变。苹果空间重构则通过AI识别照片景深,模拟真实的视角位移,背景会随视角变化而自然调整,并用生成式AI填补边缘空白,效果更接近真实重新拍摄,而非简单的平面变形。
Q3:苹果空间重构功能什么时候可以用,支持哪些设备?
A:该功能将随iOS 27一同推出,目前首个开发者测试版已向注册开发者开放。正式版预计面向支持iOS 27的iPhone设备。由于功能需要用到设备端空间建模和私有云计算,具体支持的机型范围尚待苹果官方进一步公布。
好文章,需要你的鼓励
苹果发布新一轮Apple Intelligence更新,涵盖多项核心功能:Safari新增AI自动标签分组与页面变化监测;支持一键更新泄露密码;信息应用获得AI回复建议与自然语言照片检索;日历可用自然语言创建日程;电话应用可实时调取邮件等跨应用信息;快捷指令支持自然语言自动生成工作流;Image Playground升级图像编辑与写实生成能力;照片应用新增智能扩图与空间重构功能。
OVO-S-Bench是由清华、北航、上海AI实验室联合发布的流式空间智能测试集,包含348段视频、1680道题,考察AI在只能看已播放视频的条件下理解空间的能力,最强模型比人类低27分。
今天讲的出海案例是海能达,一家做专网无线通信设备的深圳公司,今年在中东、东南亚、非洲集中拿单交付,海外营收同比走高。
上海人工智能实验室提出ThoughtFold框架,通过内省式冗余识别与精准偏好学习,将AI推理链中的废话步骤"折叠"掉,在保持准确率的前提下将推理用词量减少约56%。