苹果今日正式宣布了一批即将随iOS 27、iPadOS 27、macOS 27等系统推出的无障碍新功能。其中,语音控制功能的升级尤为引人关注,为外界预期中全新Siri将具备的智能体能力提供了一次令人期待的早期预览。
每年苹果都会在WWDC开发者大会前提前公布新一批无障碍功能,作为即将发布的iOS、macOS等系统改进内容的首次官方披露。
在今年公布的功能中,最值得关注的一项是:iOS 27中的语音控制功能将借助Apple Intelligence支持自然语言交互。
苹果官方新闻稿对此描述如下:
借助Apple Intelligence,语音控制变得前所未有的直觉化。它能够通过自然语言帮助存在各类肢体障碍的用户,完全依靠声音来操控iPhone和iPad。通过全新的灵活输入方式,用户可以用自然语言描述屏幕上的按钮和控件,而无需记忆精确的标签名称或数字编号。"说出你所见"这一功能非常适合在各类应用中进行导航,包括Apple地图、文件等具有视觉化布局的应用,用户只需说出"点击关于最佳餐厅的指南"或"点击紫色文件夹"等直觉化语言即可完成操作。此功能还有助于用户在页面元素未经正确无障碍标注的情况下突破使用障碍。
这项功能在无障碍方面的价值显而易见。而据Mark Gurman证实,其背后所依托的智能体能力同样已被整合进iOS 27的全新Siri之中。
早在2024年,苹果就曾宣布Siri将具备一系列智能体相关能力,但这些功能最终遭到推迟。如今,苹果通过此次语音控制功能的升级,实际上已经提前展示了这些能力的雏形。
这一关联最早由Dylan McDonald发现,并附上了苹果的演示视频进行分享。
从视频内容来看,Siri一旦获得智能体能力,将在iPhone、iPad、Mac以及Vision Pro上发挥极为强大的作用。能够直接对设备开口,描述眼前所见的一切,并让设备理解意图、自动采取行动,这种体验本身就令人感到惊喜。
综合苹果2024年的官方公告,以及Mark Gurman等人的持续报道来看,上述能力预计将在数周内正式落地。
关于iOS 27全新Siri更多功能的传闻详情,欢迎参阅我们的相关报道。
Q&A
Q1:iOS 27的语音控制功能有哪些新变化?
A:iOS 27中的语音控制功能引入了自然语言交互能力,由Apple Intelligence提供支持。用户无需记忆精确的按钮标签或编号,可以直接用日常语言描述屏幕上的内容来进行操作,例如说"点击关于最佳餐厅的指南"或"点击紫色文件夹"。这一功能尤其对存在肢体障碍的用户极为友好,同时也能在页面元素未经无障碍标注时帮助用户正常使用应用。
Q2:iOS 27的Siri会获得哪些智能体能力?
A:根据苹果2024年的公告及多位记者的报道,新版Siri预计将具备理解用户所见内容并自动采取相应操作的智能体能力。这意味着用户可以直接用语音描述屏幕上的任何内容,Siri将能理解意图并执行操作。这些能力此前曾遭推迟,目前已通过iOS 27语音控制功能的升级得到初步呈现,预计将在数周内正式发布。
Q3:Apple Intelligence对Siri的提升体现在哪里?
A:Apple Intelligence为Siri带来了更强的自然语言理解能力,使其能够识别用户在屏幕上看到的内容并做出智能响应。这一底层能力不仅支撑了iOS 27中语音控制的全新体验,也是新版Siri智能体功能的核心基础,未来将覆盖iPhone、iPad、Mac和Vision Pro等多个平台。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。