高通实现了一项功能,其一位高管称之为奇特而 “极具趣味性” 的对话 —— 而这次对话正是在一副搭载生成式 AI 的智能眼镜上进行的。
在增强现实世界博览会 (Augmented World Expo) 的一次发言中,高通 XR 及空间计算高级副总裁 Ziad Asghar 表示,这次聊天不仅仅是一次简单演示,而是让人一窥我们如何将长期以来被视为配件的 AI 眼镜转变为独立且功能全面的设备。
该公司还推出了其 Snapdragon AR1+ Gen 1 处理器,该处理器比之前的产品小 26%,为此次演示提供了有力支持。
高通 XR 及空间计算高级副总裁 Ziad Asghar 在声明中表示: “星期二,当我站在美国 AWE ——全球最大的 XR 会议—— 的舞台上时,我利用一副搭载 Snapdragon 技术的 RayNeo X3 Pro 智能眼镜与 AI 助手进行了对话 —— 眼镜上完成 AI 推理,无需依赖云端或网络连接。”
高通在过去一年推出了大量 XR 眼镜。
他表示,前提很简单:AI 眼镜将能够独立运行,无需与智能手机或云端配对。
Asghar 说:“在不久的将来,我将可以将手机留在口袋或车中,仅凭一副智能眼镜完成超市购物,就像我在 AWE 演示中展示的那样。当时在舞台上,我仿佛身处‘超市’,并询问眼镜如何帮助我制作女儿生日派对所需的奶油意大利宽面条。”
作为回应,搭载 Llama 1B ——一个小型语言模型 (SLM) —— 的 AI 助手理解了这一具体要求,通过音频以及眼镜镜片上显示的文本,为他提供了所需信息。
他还表示,此次演示创造了全球首例:一个自回归生成式 AI 模型完全在一副智能眼镜上运行。无需手机,无需云端,只有眼镜自身的处理器在提供支持。而这一业界里程碑正是在现场观众面前完成的。
此外,我们还宣布了 Snapdragon AR1+ Gen 1 处理器,该处理器比之前的产品小 26%,带来了更佳的图像质量、更小的体积、功率的提升以及运行 SLM 的能力。这四项特性对于紧凑型智能眼镜来说都极为关键。
这些技术共同开启了 AI 智能眼镜革命的新纪元,将来眼镜不仅会更加轻薄、设计更多元化,还会拥有足够的运算能力在设备上直接运行 AI 助手。
因此,虽然此次演示仅展示了完全在设备内运算的智能眼镜能实现的某项功能,但高通正在进行的研发工作所带来的长远益处将是巨大的。
高通的公告
XR 头显和智能眼镜的发展并没有固定的路径,尤其是我们还提供例如 Snapdragon XR2 和 Snapdragon XR2+ 这样的混合现实处理器,它们同样具备显著的设备内推理能力。
Asghar 预期未来会出现多种形态:既有能够独立运行 AI 模型的智能眼镜,也有通过与手机或周边小型计算设备(“pucks”)连接的轻量级眼镜架,而这些小型计算设备能够与从汽车到平板电脑的各种终端连接。高通通过这一产品组合正在为未来做好充分准备。
无论采用云计算、设备内运算,还是两者结合的混合路径,设备内 AI 能力的提升都将为用户提供无缝且超低延迟的体验,同时确保高安全性。随着 AI 驱动的智能眼镜逐步进入对任务关键需求的领域,并且用户对个性化、隐私保护及端到端智能代理体验的要求不断提升,这一点尤为重要。
他说:“在过去一年中,我们已见证了 XR 行业的显著发展势头。去年十二月,我们与 Google 及 Samsung 合作推出了 Android XR ——一款以 AI 为 XR 体验核心设计的操作系统。”
与此同时,随着行业的不断扩展,Meta 推出了 Ray-Ban 眼镜,以及像 Meta Orion 这样更为雄心勃勃的硬件产品,后者被宣传为该公司首款具备自有数字覆盖功能的增强现实眼镜。
此外,Asghar 表示,我们还见证了 Rokid、RayNeo、XREAL 等公司的眼镜产品。三月份,BleeqUp 推出了一款搭载 AI 的运动眼镜。
Asghar 表示,想象一下那些公司使用像 Snapdragon AR1+ Gen 1 这样更小、更强的平台将能实现什么,它们将实现更流线型的设计,同时不牺牲运行 AI 模型的能力。
高通正在融合 XR 与 AI。
虽然使智能眼镜达到合理体积与舒适配戴非常关键,但 Snapdragon AR1+ Gen 1 带来的另一项进步是其摄像头功能,这项功能在高端智能手机中非常常见,对于智能眼镜的发展同样至关重要。
这种捕捉你所见世界每个细节的能力,将开启多模态输入的新途径。该能力对于 AI 来说尤为重要,不仅能更好地理解你所看到的内容,还能主动将信息联系起来,从而为某个对象或地点提供建议或补充背景信息。
虽然智能眼镜能够独立运行 SLM,但这并不意味着它们不会与周围的一系列设备协同工作,无论是智能手机还是 PC。实际上,我预见未来会有智能手表以及智能戒指或其他可穿戴传感器等新设备与眼镜协同运作,从而启用全新的输入方式。
在 Qualcomm Technologies,我们正通过创建模块化架构为多种设备组合的未来做好准备,使我们的合作伙伴能够利用空间计算领域的优势,为消费者提供卓越体验。
正因如此,我坚信与智能眼镜中的 AI 助手进行的这次对话具有划时代意义 —— 它真正标志着重大变革的开始。我们正在进行的工作只是刚刚开始释放更深层、更个性化智能代理体验所带来的颠覆性潜力。
高通表示:“全球首个基于眼镜的生成式 AI 演示:高通对智能眼镜未来的愿景。我们现场展示了一个完全在智能眼镜上运行的生成式 AI 助手 —— 无需手机或云端的支持 —— 同时发布了全新的 Snapdragon AR1+ 平台,为增强现实开启了全新可能性。”
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
伊尔德兹技术大学团队通过词典手术和离线蒸馏,以不足20美元成本打造出专为土耳其语优化的200M参数句子嵌入模型,在语义相似度任务上超越了参数量更大的原版教师模型。