随着一些预测显示多模态人工智能市场在未来几年将以每年超过 35% 的速度增长,Google LLC 正在努力争取领先地位。
该公司的云计算部门最近表示,将文本、图像、视频、音频和其他非结构化数据与生成式 AI 处理相结合的多模态 AI,将成为 2025 年五大 AI 趋势之一。
Google 数据、分析和 AI 产品战略及对外产品管理执行官 Yasmeen Ahmad 表示,BigQuery 是 Google 多模态 AI 战略的核心,该公司正将这个数据仓库重新定位为可以收集和分析多种数据类型的数据湖仓。
她说:"在'数据湖仓'这个术语出现之前,BigQuery 就是最初的数据湖仓。我们构建了一个关系型引擎来支持企业客户想要进行的所有结构化分析。"
在接受 SiliconANGLE 采访时,Ahmad 表示,Google 估计 90% 的企业数据是非结构化的。通过将图像和语音识别等技术与结构化数据相结合进行检索增强生成训练,组织可以从以前无法使用的数据中获取洞察。
快餐连锁店 Wendy's 就是其中之一。它正在测试一个结合了 BigQuery、Google 的 Vision AI 和 Gemini 的应用程序,分析得来速服务车流量的视频以识别瓶颈。将观察到的视频图像数据与员工配置和排班信息相结合,以优化人员配置水平。Ahmad 说:"这不仅仅是视频分析,视频数据与运营数据在一个统一的平台中并存。"
United Parcel Service Inc. 构建了一个仪表板,利用卡车上安装的传感器数据,通过实时向驾驶员发出具体指令来优化实时配送路线。Bell Canada 正在使用 AI 生成的客服中心通话记录来训练一个教练助手,为客服人员提供反馈。
多模态 AI 可以使零售商从呼叫中心、社交媒体评论和移动应用反馈等多个来源收集客户情绪,并将其输入生成式 AI 引擎,以发现新的目标营销活动细分市场。Ahmad 说:"多模态数据和 AI 的这种组合实现了以前无法达到的个性化和可扩展性水平。"
Gemini 可以直接在 BigQuery 的数据基础上运行,无需数据传输。这加快了应用程序开发速度。Ahmad 表示,许多组织现在能够在几周内推出试点项目。
由于组织对向客户开放生成式 AI 持谨慎态度,大多数早期应用都是内部使用。但在防火墙后面仍有大量机会,Ahmad 说:"最容易实现的是那些客户长期收集了大量数据但一直无法利用的场景。有了 BigQuery 的多模态数据基础、Vision AI 和 Gemini 的集成,很容易就能实现应用。"
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。