早起快速刷了一下苹果的发布会,发现大多数人的评论是:还好没看。其实一开始刷了一些资讯后,我也这么觉得,但是再仔细点一看,发现有些评论认为Camera Control是最重要的创新,但还没有一篇文章,完整的单独针对Camera Control,去好好的写一下思考,是的,翻遍了全网我都没找到,干脆自己快速码一篇。
我看到很有意思的一个讽刺贴是这样:
-May I take a picture of your dog?
-Sure.
-Siri, what kind of dog is this?
推特上有100万的阅读,对应的评论区还有一张图:
那这篇文章我会换个角度,经常尝试多从几个维度抛砖引玉:
在上图中的C位,可以很明显的看到两个新iPhone里下面那台,在靠近左侧边框的位置有一个凹槽,这就是Camera Control的新按键,对于这个按键,其实拥有诸多的能力:
功能:
单击:打开相机应用或在已打开相机应用的情况下拍照。
点击并按住:开始录制视频。
轻按:这项功能将于2024年秋季晚些时候推出,可以锁定对焦和曝光在特定主体上。
双轻按:调出最小化相机预览菜单,用于选择不同的控制选项,如曝光或景深。
沿表面滑动:调节参数如缩放、曝光或景深。
设计和技术:相机控制按钮采用电容和压力感应技术,对基于触摸的手势反应灵敏。它被描述为一个触摸敏感按钮,甚至是一个微型触控板,允许进行各种交互,而不仅仅是按压。
也就是说,它的硬件设计是非常深度的,不是一个简单的按键。我们可以看一下:
这个按键的位置设计的还蛮好的,仿照的是数码单反相机上使用快门按钮的体验,它给人带来的惊喜可以看下面这个博主的评测:
这个按钮,更深层次是为了和视觉智能完成整合,达到人机“共生”。即:让手机摄像头最快捷的达到“所见即所得”,并让用户形成惯性。
发布会上苹果专门描述了Visual intelligence和Camera Control的整合,包含了这么几个场景:
进一步,苹果会开放这两个能力,给到第三方应用去做创新,再结合未来放到端侧的多个模型,还是非常值得期待的:
也有人拿它和TouchBar来对比,认为Camera Control失败的风险很大,这个点也挺有意思的,值得研究一下。
首先看TouchBar是什么:
Touch Bar 最早出现在 2016 年 10 月发布的第四代 Macbook Pro 上,全称 Multi-Touch Bar,中文名为“触控栏”。你可以理解为这是一块长条形的 OLED 屏幕, 除了固定的功能按键,还能自定义相关按键:
Touch Bar,是苹果历史上比较失败的设计,从出现到退场,仅仅 7 年。
失败的原因,事后来看,就是价值不大,那么小一块屏幕,能显示的内容有限,对应能适配的应用也更多只能是显示按钮,另外就是还需要用户改变自己的操作习惯,同时这些操作大部分又可以用键盘和鼠标代替。
我买的MBP是2015年的版本,恰好早了一代,当时看到2016款的TouchBar时还挺羡慕,但仔细想了想,就觉得意义不大,后面也没再关注了,没想到去年把它下掉了。
OK,说了这么多,其实总结来看,黄叔对于Camera Control是偏向于乐观的,因为相机拍照是个高频刚需场景,一个实体按键(入口)能大幅提高通向这个场景的使用概率,再叠加Visual intelligence,进一步的使用Camera Control去交互,这一点很厉害。
所以,单纯把Camera Control当成通向相机的入口,只是第一层,而把它作为通向视觉智能的入口,才是更深一层!
对于未来,黄叔感觉最重要的还是用户习惯+AI的融合,在X上看到这条推觉得说的不错:
使用物理实体按键启动相机作为视觉多模态入口,一旦用户习惯之后,AI的整合会更加丝滑的嵌入到具体的场景里。
我们不要老指望着AGI,难道AGI没来之前就没法做AI落地了么?苹果在用户理解和场景结合,以及端云整个AI策略的思考上,非常值得我们关注。
结合之前发布会苹果说的“ App Intents”,以及“ Apple as they layer AI on top of the entire OS.”,对于明年AI在手机的落地,我比较乐观。
在新的硬件形态成熟之前,手机仍然会是用户的AI中心设备,以苹果对于生态的整合能力,以及较强的AI落地能力,厚积薄发是我形容它的一个关键词。
我也和一些AI从业者交流,部分朋友是非常兴奋的,更多信息就不放出来了,很期待和大家的更多私下交流呀!
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。