Google LLC 正在更新 Google 搜索中的新"AI 模式"功能,引入多模态能力,使其能够"看到"用户上传的图片,从而更好地回答用户的问题。
AI 模式上个月在 Google One AI Premium 订阅用户中进行了有限预览。这是 Google 搜索中的一项实验性功能,它使用生成式人工智能,允许用户提出复杂的多部分问题和后续查询,以深入探索特定主题。
通过今天的更新,那些能够访问 AI 模式的用户现在可以上传图片并询问关于它所看到内容的问题,Google 在今天的博客文章中透露了这一信息。此外,AI 模式功能正在向数百万已加入其 Labs 计划以获取新应用程序早期访问权限的新用户推出。
Google 表示,AI 模式的图像分析功能由 Google Lens 中的多模态搜索能力提供支持。Google Lens 是一款智能手机应用程序,允许用户使用相机拍照并在 Google 搜索中搜索这些照片。
据 Google 介绍,AI 模式将能够理解任何上传图像中的整个场景,包括其中不同物体之间的关系。它还能够确定这些物体的材料、形状、颜色及其排列方式。它将就图像和其中的物体提出多个问题,从而能够提供比传统 Google 搜索更详细的回答。
举例来说,Google 表示,用户可以拍摄自己书架的照片,并输入查询"如果我喜欢这些书,有哪些类似的书可能适合我?" AI 模式将扫描图像以识别每本书,然后在研究这些书籍后推荐一系列其他书籍。
此外,用户可以提出后续问题。例如,用户可能强调"我在寻找一本快速阅读的书,这些推荐中哪一本最短?"
Google 搜索产品副总裁 Robby Stein 强调,"AI 模式建立在多年视觉搜索领域的工作基础上,并将其更进一步。"
鉴于 AI 模式仍是一项实验性功能,目前尚不清楚该服务的受欢迎程度如何。Google 上个月推出它是为了响应流行的生成式 AI 搜索应用程序,如 Perplexity 和 OpenAI 的 ChatGPT Search,这些应用程序提供类似的功能。
Google 表示,在更广泛发布之前,将继续完善用户体验并扩展 AI 模式的功能。
好文章,需要你的鼓励
这项研究提出了R1-Searcher++框架,通过两阶段训练策略使大语言模型能像人类一样灵活利用内部知识和外部信息。该方法创新性地采用强化学习激励模型优先使用内部知识,并引入记忆机制将检索到的信息转化为内部知识,实现动态知识获取。实验表明,R1-Searcher++不仅在多步问答任务上表现优异,还大幅减少了检索次数,显著提高了推理效率。
这项研究提出了AutoRefine,一种革新性的强化学习框架,为大语言模型引入了"边思考边搜索和完善"的全新范式。与传统方法不同,AutoRefine在连续搜索调用之间添加知识完善步骤,让模型能够有效过滤和组织信息。通过结合答案正确性和检索质量双重奖励,该方法在七项问答基准测试中平均提升6.9%的准确率,特别在复杂多跳推理场景中表现突出,解决了现有检索增强推理的核心局限性。
这项研究揭示了一种新型网络安全威胁:利用普通网络广告攻击AI网页代理。中科院研究团队开发的AdInject攻击无需特殊权限,仅通过精心设计的广告内容就能误导AI代理点击恶意链接,成功率高达90%以上。研究使用严格的黑盒模型,更符合现实场景,暴露了当前AI代理面临的实际安全漏洞。实验还表明,即使添加专门的防御提示,这类攻击仍能成功率超过50%,凸显了设计更强大防御机制的紧迫性。
东北大学与快手科技联合研发的UNITE系统为多模态信息检索带来突破性进展。这项发表于2025年5月的研究首次系统分析了模态特定数据如何影响检索性能,并提出创新的模态感知掩码对比学习技术,有效解决不同模态间的竞争关系。UNITE能同时处理文本、图像、视频及其组合,在40多项测试中超越现有方法,即使与参数规模更大的模型相比也表现出色。研究发现视频-文本对在通用检索中表现优异,而文本-文本和文本-图像对对指令遵循任务至关重要,为未来多模态系统研究提供了宝贵指南。