云端与边缘：AI驱动工程师重新考虑延迟问题

十年前，人工智能仍被我们视为科幻小说中的概念。首先出现的是机器学习，具备数据拟合、非确定性结果和可识别算法等基础功能。在此之前，还有云计算。

云计算在大数据时代成为流行词汇，那时计算机还未学会思考，拥有更大的数据集已经让我们能够开始挖掘当时称为"商业智能"的信息。你可以提高工作流程效率、存储大量数据，并通过互联网获得动态的按需服务。云计算就此诞生。

现在，随着AI推动快速变革，神经网络为我们承担更多思考任务，领导团队却在...将工作负载从云端拉回本地？这足以让普通企业感到困惑。就在不久前，团队还在调整业务流程以适应"云原生"设计。如今这些云原生设计又多次被更新为"AI原生"系统，这些系统要么部署在本地，要么采用混合模式。

为什么会发生这种情况，这意味着什么？

解决延迟问题

当工程师设计AI服务时，他们再次痴迷于速度。信号通过整个系统堆栈传输到用户需要多长时间？这取决于硬件的配置方式。

在前AI系统中，对确保数据以最快速度传输给用户的关注度相对较低。当然，速度一直是一个指标，工程师们也一直在努力让云计算运行得更快。但延迟隐藏在许多地方。

基本而言，通过将数据处理放置在数据源附近，可以大幅减少延迟。这种策略被称为"边缘计算"，可以说是云计算的对立面。

在许多情况下，边缘设计能够消除大量延迟。但这并不是万能解决方案；你仍需要考虑其他延迟来源。

混合云

那么现在该将所有东西都从云端移出吗？不要急。通常更平衡的方法更具吸引力，正如Tushar Panthari在Dev上的观点：

"到2025年，边缘AI与云AI之间不再是优劣之争，而是适配性问题，"Panthari写道。"数据表明：边缘计算正在爆发式增长，云计算仍占主导地位，混合模式正成为新兴的默认选择。决策者需要停止询问'哪个更好？'，而应该问'对于这个工作负载哪个更好？'如果2020-2024年是关于证明AI有效性，那么下一个十年将是关于在正确的地方、以正确的规模、用正确的治理方式部署AI。"

换句话说，云可能更适合某些任务，边缘计算更适合其他任务。但边缘计算在需要将数据处理靠近数据聚合源以大幅提升系统速度的场景中往往更受欢迎。

征服延迟

创新设计在零售和制造等垂直领域很重要，在关键任务系统（如国防应用）中更为重要。

"国防领域AI的未来在于让智能能力真正分布化和自适应，"Jags Kandasamy在《Defense Daily》发表的访谈中说道。"我们正从依赖云的集中式AI转向能够在争议环境中独立运行的边缘原生智能。"

他的公司Latent AI致力于为系统降低延迟，重点关注边缘计算。通过超过200,000小时的测试运行和12TB的数据，该公司能够深入研究企业采用趋势及其结果。

在去年斯坦福大学的演讲中，Kandasamy详细阐述了这些概念。

"边缘AI很重要，因为某些决策需要在毫秒内做出，"他解释道。"当你的特斯拉汽车处于FSD模式时，如果将所有视觉数据发送回云端处理，七秒后才刹车，你能接受吗？这是不可接受的。"

他谈到了考虑将工作负载从云端"重新安置"到边缘的原则。

"如何保证连续性和信任？"他说。"你希望事物是本地的。你希望能够信任系统并能够响应你的请求。"

Kandasamy还提到了我们手持和可穿戴设备的能力。

"我们口袋里的手机比将人类送上月球的计算机强大10倍，对吧？"他说。"那为什么我们不能将更多智能带到边缘？"

信任机器

Kandasamy建议，所有这些都是为了确保在关键时刻，计算资源能够随时可用。

"当云端中断时，任务需要继续进行，"他最后说道。

在国防应用方面，Kandasamy的公司开创了强化AI工具包（RTK）和Latent AI高效推理平台（LEIP）。这些是什么？我询问了ChatGPT。

"强化AI工具包（RTK）是Latent AI的现场可部署边缘AI系统，"ChatGPT在"思考"8秒后回应。"军用级硬件加软件，让非专业作战人员能够现场、离线、在争议或带宽受限环境中重新训练、更新和重新部署AI模型，使用简化的无代码工作流程，与Latent AI的LEIP平台紧密集成...RTK将坚固的Jetson盒子与类似手机的界面结合，让非专业人员能够在现场完全独立地运行、调整和重新部署无人机/车辆上的边缘AI模型，无需云端或数据科学团队。"

至于什么是Jetson盒子，该模型这样说：

"'Jetson盒子'是装在坚固外壳中的小型英伟达Jetson计算机的简称：英伟达Jetson是专门在边缘（机器人、无人机、摄像头、车辆等）运行AI模型的微型、节能GPU系列。'盒子'包括Jetson模块加内存、存储、端口（USB、以太网、摄像头输入）、电源管理和保护外壳——通常是军用级或工业级。"

我喜欢这个小细节：

"所以当人们说'Jetson盒子'时，可以想象：一台能够放在机器人/无人机/车辆上并在本地运行神经网络的坚固小型AI PC，无需云端。"

这些都有助于解释强大边缘系统背后的一些思路，以及为什么在多年推动企业采用云计算项目后，我们经常回到本地部署。可以肯定的是，这里有一些细节差别，商业领导者需要回答一些重大问题。敬请关注。

Q&A

Q1：边缘计算相比云计算的主要优势是什么？

A：边缘计算的主要优势是能够大幅减少延迟。通过将数据处理放置在数据源附近，避免了数据传输到远程云端的时间延迟。这对需要毫秒级响应的应用（如自动驾驶汽车的安全系统）至关重要。

Q2：什么是强化AI工具包RTK？它有什么特殊功能？

A：强化AI工具包是Latent AI开发的现场可部署边缘AI系统，结合了军用级硬件和软件。它让非专业作战人员能够在现场、离线环境中重新训练、更新和重新部署AI模型，使用简化的无代码工作流程，无需依赖云端或数据科学团队。

Q3：企业应该完全放弃云计算转向边缘计算吗？

A：不应该完全放弃。专家建议采用混合方法，不同工作负载适合不同的计算模式。云计算仍占主导地位，边缘计算正在快速增长，混合模式正成为新兴的默认选择。关键是要根据具体应用场景选择最适合的计算方式。