多模态技术将在 2025 年重新定义企业如何利用 AI。想象一下,一个不仅能理解文本,还能理解图像、音频和其他传感器数据的 AI。人类天生就是多模态的,但我们处理输入信息的能力有限。以医疗保健为例,在我在 Google Health 工作期间,我听到许多病人用大量数据压垮医生的故事:
想象一个患有心房颤动 (AFIB) 的病人带着五年来从智能手表收集的详细睡眠数据就诊。或者一个癌症患者带着 20 磅重的医疗记录,记录了他们接受过的每一次治疗。这两种情况都是非常真实的。对医生来说,挑战是相同的:从噪音中分离出有用信息。
我们需要的是一个能够总结和突出关键点的 AI。像 ChatGPT 这样的大语言模型已经可以对文本进行这样的处理,提取出最相关的信息。但如果我们能教会 AI 对其他类型的数据 —— 如图像、时间序列或实验室结果 —— 做同样的事情呢?
多模态 AI 是如何工作的?
要理解多模态如何工作,我们首先要明白 AI 需要数据来进行训练和做出预测。多模态 AI 被设计用来同时处理多种数据源 —— 文本、图像、音频、视频,甚至时间序列数据。通过结合这些输入,多模态 AI 能够对所处理的问题提供更丰富、更全面的理解。
多模态 AI 更像是一种发现工具。不同的数据模态被 AI 存储。当输入新的数据点时,AI 会找到相近的主题。例如,通过输入某人智能手表的睡眠数据以及他们心房颤动 (AFIB) 发作的信息,医生可能会发现睡眠呼吸暂停的迹象。
注意,这是基于"相似性",而不是相关性。这是 Amazon 曾经popularized的方法的升级版:"购买这件商品的人也购买了那件商品"。在这种情况下,它更像是:"具有这种睡眠模式的人也被诊断出患有 AFIB"。
多模态解释:编码器、融合和解码器
多模态 AI 系统由三个主要组件组成:编码器、融合和解码器。
编码任何模态
编码器将原始数据(如文本、图像、声音、日志文件等)转换为 AI 可以处理的表示。这些表示被称为向量,存储在潜在空间中。简单来说,可以将这个过程想象成在仓库(潜在空间)中存储一件物品,每件物品都有一个特定的位置(向量)。编码器几乎可以处理任何东西:图像、文本、声音、视频、日志文件、物联网(传感器)信息、时间序列 —— 应有尽有。
融合机制:结合模态
当只处理一种类型的数据(如图像)时,编码就足够了。但是当处理多种类型的数据 —— 图像、声音、文本或时间序列数据 —— 时,我们需要融合信息以找出最相关的内容。
解码器:生成我们能理解的输出
解码器从潜在空间(即仓库)中"解码"信息,并将其传递给我们。它将原始、抽象的信息转化为我们能理解的东西。例如,找到一张"房子"的图像。
如果你想了解更多关于编码、解码和重新排序的知识,可以参加我的 eCornell 在线证书课程"设计和构建 AI 解决方案"。这是一个无需编程的课程,探讨了 AI 解决方案的各个方面。
用多模态技术改造电子商务
让我们看另一个例子:电子商务。Amazon 的界面 25 年来几乎没有变化 —— 你输入关键词,滚动浏览结果,希望找到你需要的东西。多模态技术可以通过让你描述产品、上传照片或提供上下文来找到最适合你的匹配,从而彻底改变这种体验。
用多模态 AI 修复搜索
在 r2decide,一家由我和几个康奈尔校友创立的公司,我们正在使用多模态技术将搜索、浏览和聊天合并为一个无缝的流程。我们的客户是那些厌倦了因为用户找不到他们需要的东西而损失收入的电子商务公司。我们解决方案的核心是多模态 AI。
例如,在一个在线珠宝商店,用户搜索"绿色"时,过去只有当"绿色"这个词出现在产品文本中时,才会看到绿色珠宝。由于 r2decide 的 AI 还将图像编码到共享的潜在空间(即仓库)中,它可以在所有模态中找到"绿色"。然后,根据用户过去的搜索和点击重新排序这些项目,确保他们收到最相关的"绿色"选项。
用户还可以搜索更广泛的上下文,如"婚礼"、"红裙子"或"哥特风"。AI 将这些输入编码到潜在空间中,匹配合适的产品,并显示最相关的结果。这种能力甚至延伸到像"Swarovski"这样的品牌名称,即使商店并不正式销售 Swarovski 产品,也能显示相关的商品。
AI 生成的提示以提供类似聊天的建议
除了搜索结果,R2Decide 还生成 AI 驱动的提示 —— 旨在增强用户体验的上下文推荐或提示。这些提示由 AI 代理驱动,正如我昨天在关于代理型 AI 的文章中所描述的。它们的目的是轻松地引导用户找到最相关的选项,使搜索过程变得直观、引人入胜且高效。
2025 年的多模态技术:企业的无限可能
多模态技术正在改变各个行业,从医疗保健到电子商务。而这还远不是终点。像 TC Labs 这样的初创公司使用多模态 AI 来简化工程工作流程,提高效率和质量,而丰田则使用它来提供互动的、个性化的客户协助。
2025 年将是多模态 AI 改变企业工作方式的一年。在 Forbes 或 LinkedIn 上关注我,了解更多我对 2025 年 AI 的预测。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。