在 IT 领导者面临的诸多艰难决策中,如何选择最佳的 AI 工作负载部署位置是一个重要问题。
无论是部署预测供应链性能的传统 AI 应用程序,还是推出为客户提供信息服务的生成式 AI 数字助手,这类软件的部署选择都很多样。
然而,如今的决策考量已经发生变化。可能是十年来首次,公有云不再是 IT 领导者的首选目的地。事实上,Gartner 预计到 2027 年,50% 的关键企业应用工作负载将存在于公有云之外。
当然,工作负载部署涉及许多因素。但几乎总是从一个考虑因素开始:你的数据。而 AI 需要大量数据,尤其是正在全球范围内改变数字化运营的现代生成式 AI 应用。
避免过去的云计算误区
生成式 AI 应用会创建大量非结构化数据,如文本、音频和视频。这些应用产生的数据越多,数据引力对组织工作负载的影响就越大,迁移也就越困难。
讽刺的是,IT 领导者可能在十年前"云优先"浪潮中就已经经历过这个挑战,当时组织们都在争相利用公有云承诺的敏捷性和创新前景。
近年来,出于各种原因,他们和同行可能已经从公有云中移除了一些应用工作负载。
有些发现供应商无法满足数据本地化法规要求。有些在为公有云重构应用时出现错误导致应用崩溃。还有一些发现随着数据量增加,运行应用的成本也随之攀升。
从消费者友好的角度来看,可以参考过去几年从有线电视到流媒体服务的平台转变。数百万用户厌倦了被包含大量很少观看频道的合同束缚,于是"剪断电线",转向 Netflix、Hulu、Apple TV+ 等服务。
公有云已经开始呈现出类似有线电视的特点,供应商推出了大量 IT 领导者并不需要的服务。而且,就像有线电视一样,IT 领导者开始感到被现有云合同束缚;当租用后悔症出现时,他们开始转移一些工作负载。
随着当今计算和存储需求的多样化,IT 领导者更想要 Netflix 和 Hulu 式的服务,而不是有线电视式的服务,这也是一些工作负载回归本地系统的重要原因。
支持 AI 的不同策略
组织需要一种更具针对性的方法来满足其 AI 需求 - 既能让他们控制企业知识产权和数据,又能保持性能并满足弹性要求。
此外,AI 推理会给系统带来负担 - 它需要实时访问数据 - 因此组织必须控制为其 AI 应用提供动力的计算和存储资源。控制这些资源还将帮助 IT 部门更好地管理 AI 应用带来的数据引力问题。
那么 IT 领导者如何解决这些挑战呢?
虽然没有放之四海而皆准的方法,但一个选择是专注于提供最佳业务成果,无论您选择在何处运行应用程序,包括自己的数据中心,以及扩展到 AI PC 和边缘设备的能力。
这种方法被称为企业 AI,它有助于满足性能要求并减少延迟,同时确保数据安全且符合数据本地化和主权规则。有些企业 AI 路径可能对预算更加友好。
例如,您可以考虑在本地部署开源模型,这有助于将 AI 引入数据的同时根据运营需求调整模型规模。包含检索增强生成 (RAG) 的预训练模型可以用企业数据完善结果,并在企业防火墙后的 GPU 服务器上良好运行。
根据 Enterprise Strategy Group 的调查,在本地部署 Meta 的 Llama 2 模型并使用 RAG,比在 Amazon Web Services 公有云中运行生成式 AI 工作负载的成本效益高出 75%。ESG 还发现,在本地运行 Mistral 的 7B 开源模型和 RAG,比 AWS 的成本效益高出 38% 到 48%。
在推理成本随着模型生命周期增加的时期,这些都是关键的节省。培养企业 AI 并不容易;大多数组织缺乏构建此类运营模型的技术能力,更不用说建立为 AI 现代化的架构和基础设施。
这还需要专家帮助您整理数据,以便以合适的成本实现所需的性能和效率来运行模型。您选择的可信顾问将帮助塑造 AI 战略的成果。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。