DeepMind揭秘Google"魔法指针"：AI让鼠标真正读懂你的意图

谷歌Googlebook上的"魔法指针"（Magic Pointer）功能由谷歌DeepMind团队打造。近日，这一底层能力背后的研究团队公开分享了更多关于AI指针的设计理念与技术细节。

DeepMind表示，希望借助AI技术，让指针"不仅能理解它所指向的内容，还能理解这些内容对用户而言意味着什么"。

研究团队希望解决一个普遍存在的使用痛点：传统AI工具通常运行在独立窗口中，用户不得不将自己的内容"拖进"工具里。DeepMind想要颠覆这一逻辑，让AI主动融入用户正在使用的各类工具，而不打断用户的工作流程。例如，用户只需将指针指向一栋建筑的图片，并说一句"帮我查路线"，AI系统便能自动理解上下文，无需任何额外说明。

这一功能的核心目标是：用"更简单、更直观的交互方式"替代繁琐的文字提示输入。

AI赋能的指针能够流畅捕捉指针周围的视觉信息与语义上下文，让计算机真正"看见"并理解用户关注的内容。同样，"能够理解上下文、指向行为与语音输入三者组合的AI系统，将允许用户以自然简洁的方式发出复杂指令"。

具体应用场景包括：在旅行视频的暂停画面中，用户指向画面中某家餐厅，系统便能直接生成该餐厅的预订链接。

目前，谷歌已在AI Studio上推出两款AI指针演示，供用户亲身体验。

此外，用户即将获得一项新能力：在Chrome浏览器中，可以直接用指针指向网页上感兴趣的内容，向Gemini发起提问。该功能正在逐步推出中。

例如，用户可以在购物页面上选中几款商品，要求Gemini进行比较；也可以指着客厅照片中的某个位置，要求AI展示新沙发摆放后的效果。

Q&A

Q1：DeepMind的AI魔法指针是什么？能做什么？

A：DeepMind的AI魔法指针是一种智能交互技术，能让鼠标指针理解用户所指内容的视觉信息和语义上下文。用户无需输入大量文字，只需用指针指向内容并配合简短语音或文字，AI就能理解意图并执行复杂操作，例如指向旅行视频中的餐厅直接生成预订链接。

Q2：魔法指针功能现在可以在哪里体验？

A：目前谷歌已在AI Studio上线了两款AI指针演示，用户可以直接前往体验。此外，Chrome浏览器中的Gemini也即将支持该功能，用户可用指针指向网页中感兴趣的部分直接提问，该功能正在陆续推出中。

Q3：AI魔法指针和传统AI工具有什么区别？

A：传统AI工具通常需要用户将内容复制粘贴到独立窗口中进行交互，操作繁琐且容易打断工作流。AI魔法指针则相反，它主动融入用户正在使用的工具和界面，用户只需用指针指向目标内容，配合简短指令即可完成复杂操作，交互更自然流畅。