后Transformer模型系统能够推动变革

如果你能够获得传统大语言模型的输出效果，同时能耗却降低10到20倍，会怎么样？

如果你能够在手机上直接运行强大的大语言模型，又会怎么样？

事实证明，新的设计理念正在推动新一代AI平台的发展，这些平台将节约能源，释放各种全新和改进的功能，同时重要的是，还能提供边缘计算能力。

什么是边缘计算？

边缘计算是指数据处理和其他工作负载在接近数据源的地方进行，换句话说，就是在终端设备上进行，比如数据收集硬件或用户的个人设备。

另一种描述方式是，边缘计算开始让我们从云时代回归，在云时代，人们意识到可以集中存储数据。是的，你可以使用这些供应商服务，让客户端免于处理本地系统，但这会产生传输成本，而且通常控制力较弱。如果你能够在硬件设备上本地运行操作，这将创造各种效率，包括与能源消耗和应对气候变化相关的效率。

新兴的液体基础模型正在崛起，它们从传统的基于Transformer的大语言模型设计创新发展为其他形式。

2024年9月，Carl Franzen在VentureBeat上发表的一篇文章涵盖了一些相关设计。我需要声明：我被列为Liquid AI的顾问，我认识MIT CSAIL实验室的很多研究人员，这项工作正在那里进行。但不要只听我的话，看看Franzen怎么说。

"新的LFM模型在性能上已经超越了同等规模的其他基于Transformer的模型，如Meta的Llama 3.1-8B和微软的Phi-3.5 3.8B，"他写道。"这些模型不仅在原始性能基准测试上具有竞争力，在运营效率方面也表现出色，使它们适用于各种用例，从金融服务、生物技术和消费电子等领域的企业级应用，到边缘设备的部署。"

项目负责人的更多见解

今年4月，Will Knight和Liquid AI的Ramin Hasani在IIA进行了一次访谈。

Hasani谈到了Liquid AI团队如何利用线虫（具体来说是秀丽隐杆线虫）的大脑开发模型。

他谈到了这些后Transformer模型在设备、汽车、无人机和飞机上的应用，以及在预测金融和预测医疗方面的应用。

他说，LFM可以完成GPT的工作，在设备上本地运行。

"它们能够听，也能够说话，"他说。

更多新发展

Hasani表示，自最近项目启动以来，Liquid AI一直在与大公司进行商业讨论，探讨如何将这项技术很好地应用于企业。

"人们关心隐私，关心AI的安全应用，也关心AI的低延迟应用，"他说。"这三个方面是企业无法从其他类型的AI公司那里获得价值的地方。"

在谈到创新者应该"内心是科学家"时，Hasani回顾了离线运行大语言模型的一些基本价值主张。

看，无需基础设施

围绕LFM的这次特定对话中得出的一个主要观点是，如果它们在设备上离线运行，你就不需要连接系统的扩展基础设施。你不需要数据中心或云服务，或任何类似的东西。

本质上，这些系统可以实现低成本、高性能，这只是人们谈论将"摩尔定律"概念应用于AI的一个方面。这意味着系统正在快速变得更便宜、更多样化、更易于管理。

因此，随着我们看到更智能的AI出现，请密切关注这种发展。