随着一些预测显示多模态人工智能市场在未来几年将以每年超过 35% 的速度增长,Google LLC 正在努力争取领先地位。
该公司的云计算部门最近表示,将文本、图像、视频、音频和其他非结构化数据与生成式 AI 处理相结合的多模态 AI,将成为 2025 年五大 AI 趋势之一。
Google 数据、分析和 AI 产品战略及对外产品管理执行官 Yasmeen Ahmad 表示,BigQuery 是 Google 多模态 AI 战略的核心,该公司正将这个数据仓库重新定位为可以收集和分析多种数据类型的数据湖仓。
她说:"在'数据湖仓'这个术语出现之前,BigQuery 就是最初的数据湖仓。我们构建了一个关系型引擎来支持企业客户想要进行的所有结构化分析。"
在接受 SiliconANGLE 采访时,Ahmad 表示,Google 估计 90% 的企业数据是非结构化的。通过将图像和语音识别等技术与结构化数据相结合进行检索增强生成训练,组织可以从以前无法使用的数据中获取洞察。
快餐连锁店 Wendy's 就是其中之一。它正在测试一个结合了 BigQuery、Google 的 Vision AI 和 Gemini 的应用程序,分析得来速服务车流量的视频以识别瓶颈。将观察到的视频图像数据与员工配置和排班信息相结合,以优化人员配置水平。Ahmad 说:"这不仅仅是视频分析,视频数据与运营数据在一个统一的平台中并存。"
United Parcel Service Inc. 构建了一个仪表板,利用卡车上安装的传感器数据,通过实时向驾驶员发出具体指令来优化实时配送路线。Bell Canada 正在使用 AI 生成的客服中心通话记录来训练一个教练助手,为客服人员提供反馈。
多模态 AI 可以使零售商从呼叫中心、社交媒体评论和移动应用反馈等多个来源收集客户情绪,并将其输入生成式 AI 引擎,以发现新的目标营销活动细分市场。Ahmad 说:"多模态数据和 AI 的这种组合实现了以前无法达到的个性化和可扩展性水平。"
Gemini 可以直接在 BigQuery 的数据基础上运行,无需数据传输。这加快了应用程序开发速度。Ahmad 表示,许多组织现在能够在几周内推出试点项目。
由于组织对向客户开放生成式 AI 持谨慎态度,大多数早期应用都是内部使用。但在防火墙后面仍有大量机会,Ahmad 说:"最容易实现的是那些客户长期收集了大量数据但一直无法利用的场景。有了 BigQuery 的多模态数据基础、Vision AI 和 Gemini 的集成,很容易就能实现应用。"
好文章,需要你的鼓励
香港中文大学与华为诺亚方舟实验室合作开发了PreMoe框架,解决了大型混合专家模型(MoE)在内存受限设备上的部署难题。研究团队发现MoE模型中的专家表现出明显的任务专业化特征,据此提出了概率专家精简(PEP)和任务自适应专家检索(TAER)两大核心技术。实验证明,DeepSeek-R1 671B模型在精简50%专家后仍保持97.2%的MATH500准确率,内存需求降至688GB;而更激进的精简方案(减少87.5%专家)也能保持72.0%的准确率。该方法适用于多种MoE架构,为强大AI系统的广泛部署铺平了道路。
SCIENCEBOARD是一项开创性研究,旨在评估多模态自主智能体在真实科学工作流中的表现。研究团队构建了一个包含169个高质量任务的基准测试,涵盖生物化学、天文学等六个科学领域,并开发了一个真实环境让智能体通过CLI或GUI接口与科学软件交互。实验评估表明,即使是最先进的模型在这些复杂科学任务上的成功率也仅为15%,远低于人类表现,揭示了当前技术的局限性并为未来科学智能体的发展提供了宝贵见解。
帝国理工学院的研究团队开发了AlphaMed,这是首个仅通过极简规则强化学习就能培养医疗推理能力的AI模型,无需依赖传统的思维链示范数据。通过分析数据信息丰富度和难度分布的影响,研究发现高信息量的医疗问答数据是推理能力的关键驱动因素。AlphaMed在六个医疗问答基准上取得了领先成绩,甚至超越了更大的封闭源模型,同时展现出自发的步骤推理能力,为医疗AI发展提供了更加开放、高效的新路径。
Alita是一种新型通用AI代理系统,采用极简设计理念,以"最小预定义,最大自我进化"为原则构建。由普林斯顿大学等多家机构研究团队开发的Alita,只配备一个核心能力和少量通用模块,能自主创建所需工具并重用为模型上下文协议(MCPs)。实验显示,Alita在GAIA基准测试上达到87.27%的通过率,超越包括OpenAI Deep Research在内的复杂系统,证明简约设计可带来卓越性能。