如果你能够获得传统大语言模型的输出效果,同时能耗却降低10到20倍,会怎么样?
如果你能够在手机上直接运行强大的大语言模型,又会怎么样?
事实证明,新的设计理念正在推动新一代AI平台的发展,这些平台将节约能源,释放各种全新和改进的功能,同时重要的是,还能提供边缘计算能力。
什么是边缘计算?
边缘计算是指数据处理和其他工作负载在接近数据源的地方进行,换句话说,就是在终端设备上进行,比如数据收集硬件或用户的个人设备。
另一种描述方式是,边缘计算开始让我们从云时代回归,在云时代,人们意识到可以集中存储数据。是的,你可以使用这些供应商服务,让客户端免于处理本地系统,但这会产生传输成本,而且通常控制力较弱。如果你能够在硬件设备上本地运行操作,这将创造各种效率,包括与能源消耗和应对气候变化相关的效率。
新兴的液体基础模型正在崛起,它们从传统的基于Transformer的大语言模型设计创新发展为其他形式。
2024年9月,Carl Franzen在VentureBeat上发表的一篇文章涵盖了一些相关设计。我需要声明:我被列为Liquid AI的顾问,我认识MIT CSAIL实验室的很多研究人员,这项工作正在那里进行。但不要只听我的话,看看Franzen怎么说。
"新的LFM模型在性能上已经超越了同等规模的其他基于Transformer的模型,如Meta的Llama 3.1-8B和微软的Phi-3.5 3.8B,"他写道。"这些模型不仅在原始性能基准测试上具有竞争力,在运营效率方面也表现出色,使它们适用于各种用例,从金融服务、生物技术和消费电子等领域的企业级应用,到边缘设备的部署。"
项目负责人的更多见解
今年4月,Will Knight和Liquid AI的Ramin Hasani在IIA进行了一次访谈。
Hasani谈到了Liquid AI团队如何利用线虫(具体来说是秀丽隐杆线虫)的大脑开发模型。
他谈到了这些后Transformer模型在设备、汽车、无人机和飞机上的应用,以及在预测金融和预测医疗方面的应用。
他说,LFM可以完成GPT的工作,在设备上本地运行。
"它们能够听,也能够说话,"他说。
更多新发展
Hasani表示,自最近项目启动以来,Liquid AI一直在与大公司进行商业讨论,探讨如何将这项技术很好地应用于企业。
"人们关心隐私,关心AI的安全应用,也关心AI的低延迟应用,"他说。"这三个方面是企业无法从其他类型的AI公司那里获得价值的地方。"
在谈到创新者应该"内心是科学家"时,Hasani回顾了离线运行大语言模型的一些基本价值主张。
看,无需基础设施
围绕LFM的这次特定对话中得出的一个主要观点是,如果它们在设备上离线运行,你就不需要连接系统的扩展基础设施。你不需要数据中心或云服务,或任何类似的东西。
本质上,这些系统可以实现低成本、高性能,这只是人们谈论将"摩尔定律"概念应用于AI的一个方面。这意味着系统正在快速变得更便宜、更多样化、更易于管理。
因此,随着我们看到更智能的AI出现,请密切关注这种发展。
好文章,需要你的鼓励
微软高级软件工程师Alice Vinogradova将自己用SAP ABAP语言编写的向量数据库ZVDB移植到了搭载Z80处理器的经典计算机Sinclair ZX Spectrum上。她发现ABAP(1983年)和Z80(1976年)几乎是同时代产物,都诞生于内存珍贵、每个字节都很重要的计算时代。通过应用Z80优化技术,尽管时钟频率相差857倍,但代码运行速度仅慢3-6倍。她认为这些老式优化技术具有普遍适用性,在现代硬件上依然有效。
这项由东京科学技术大学等机构联合发布的研究提出了UMoE架构,通过重新设计注意力机制,实现了注意力层和前馈网络层的专家参数共享。该方法在多个数据集上显著优于现有的MoE方法,同时保持了较低的计算开销,为大语言模型的高效扩展提供了新思路。
韩国电子巨头三星宣布收购美国西雅图数字健康技术公司Xealth,进一步扩大在健康领域的布局。Xealth专注于帮助医疗专业人员将数字健康技术整合到日常实践中,与70多家数字健康技术供应商合作,应用覆盖美国500多家医院。此次收购将推动三星向连接医疗保健平台转型,结合其在传感器技术和可穿戴设备方面的优势,完善Samsung Health平台功能。
小米团队开发的MiMo-7B模型证明了AI领域"小而精"路线的可行性。这个仅有70亿参数的模型通过创新的预训练数据处理、三阶段训练策略和强化学习优化,在数学推理和编程任务上超越了320亿参数的大模型,甚至在某些指标上击败OpenAI o1-mini。研究团队还开发了高效的训练基础设施,将训练速度提升2.29倍。该成果已完全开源,为AI民主化发展提供了新思路。