在最近一期由 LinkedIn 联合创始人 Reid Hoffman 共同主持的 Possible 播客节目中,Google DeepMind 的 CEO Demis Hassabis 表示,Google 计划将其 Gemini AI 模型与 Veo 视频生成模型最终整合在一起,以提升前者对物理世界的理解能力。
Hassabis 说道:"我们从一开始就将 Gemini(我们的基础模型)设计为多模态的。我们这样做是因为我们对通用数字助手有一个愿景,这个助手能够在现实世界中真正帮助到你。"
AI 行业正在逐步向"全能"模型发展——这类模型能够理解和合成多种形式的媒体内容。Google 最新的 Gemini 模型可以生成音频、图像和文本,而 OpenAI 在 ChatGPT 中的默认模型也能原生创建图像——当然也包括吉卜力工作室风格的艺术作品。Amazon 也宣布计划在今年晚些时候推出一个"任意转换"模型。
这些全能模型需要大量的训练数据——包括图像、视频、音频、文本等。Hassabis 暗示 Veo 的视频数据主要来自 Google 旗下的 YouTube 平台。
Hassabis 表示:"基本上,通过观看大量的 YouTube 视频,Veo 2 可以理解世界的物理规律。"
Google 此前向 TechCrunch 表示,其模型"可能"会按照与 YouTube 创作者的协议,使用"部分" YouTube 内容进行训练。据报道,Google 去年部分扩展了其服务条款,以允许公司获取更多数据来训练其 AI 模型。
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。