在 IT 领导者面临的诸多艰难决策中,如何选择最佳的 AI 工作负载部署位置是一个重要问题。
无论是部署预测供应链性能的传统 AI 应用程序,还是推出为客户提供信息服务的生成式 AI 数字助手,这类软件的部署选择都很多样。
然而,如今的决策考量已经发生变化。可能是十年来首次,公有云不再是 IT 领导者的首选目的地。事实上,Gartner 预计到 2027 年,50% 的关键企业应用工作负载将存在于公有云之外。
当然,工作负载部署涉及许多因素。但几乎总是从一个考虑因素开始:你的数据。而 AI 需要大量数据,尤其是正在全球范围内改变数字化运营的现代生成式 AI 应用。
避免过去的云计算误区
生成式 AI 应用会创建大量非结构化数据,如文本、音频和视频。这些应用产生的数据越多,数据引力对组织工作负载的影响就越大,迁移也就越困难。
讽刺的是,IT 领导者可能在十年前"云优先"浪潮中就已经经历过这个挑战,当时组织们都在争相利用公有云承诺的敏捷性和创新前景。
近年来,出于各种原因,他们和同行可能已经从公有云中移除了一些应用工作负载。
有些发现供应商无法满足数据本地化法规要求。有些在为公有云重构应用时出现错误导致应用崩溃。还有一些发现随着数据量增加,运行应用的成本也随之攀升。
从消费者友好的角度来看,可以参考过去几年从有线电视到流媒体服务的平台转变。数百万用户厌倦了被包含大量很少观看频道的合同束缚,于是"剪断电线",转向 Netflix、Hulu、Apple TV+ 等服务。
公有云已经开始呈现出类似有线电视的特点,供应商推出了大量 IT 领导者并不需要的服务。而且,就像有线电视一样,IT 领导者开始感到被现有云合同束缚;当租用后悔症出现时,他们开始转移一些工作负载。
随着当今计算和存储需求的多样化,IT 领导者更想要 Netflix 和 Hulu 式的服务,而不是有线电视式的服务,这也是一些工作负载回归本地系统的重要原因。
支持 AI 的不同策略
组织需要一种更具针对性的方法来满足其 AI 需求 - 既能让他们控制企业知识产权和数据,又能保持性能并满足弹性要求。
此外,AI 推理会给系统带来负担 - 它需要实时访问数据 - 因此组织必须控制为其 AI 应用提供动力的计算和存储资源。控制这些资源还将帮助 IT 部门更好地管理 AI 应用带来的数据引力问题。
那么 IT 领导者如何解决这些挑战呢?
虽然没有放之四海而皆准的方法,但一个选择是专注于提供最佳业务成果,无论您选择在何处运行应用程序,包括自己的数据中心,以及扩展到 AI PC 和边缘设备的能力。
这种方法被称为企业 AI,它有助于满足性能要求并减少延迟,同时确保数据安全且符合数据本地化和主权规则。有些企业 AI 路径可能对预算更加友好。
例如,您可以考虑在本地部署开源模型,这有助于将 AI 引入数据的同时根据运营需求调整模型规模。包含检索增强生成 (RAG) 的预训练模型可以用企业数据完善结果,并在企业防火墙后的 GPU 服务器上良好运行。
根据 Enterprise Strategy Group 的调查,在本地部署 Meta 的 Llama 2 模型并使用 RAG,比在 Amazon Web Services 公有云中运行生成式 AI 工作负载的成本效益高出 75%。ESG 还发现,在本地运行 Mistral 的 7B 开源模型和 RAG,比 AWS 的成本效益高出 38% 到 48%。
在推理成本随着模型生命周期增加的时期,这些都是关键的节省。培养企业 AI 并不容易;大多数组织缺乏构建此类运营模型的技术能力,更不用说建立为 AI 现代化的架构和基础设施。
这还需要专家帮助您整理数据,以便以合适的成本实现所需的性能和效率来运行模型。您选择的可信顾问将帮助塑造 AI 战略的成果。
好文章,需要你的鼓励
文章探讨了CIO在2025年应该重点投资的五个AI领域:可信工作流的代理AI、智能文档管理、营销客户数据需求、从数据驱动转向AI驱动、重新审视IT架构以支持AI目标。这些投资可以在短期内带来效益,同时成为长期财务回报的倍增器。CIO需要在这些领域制定务实的AI应用策略,简化平台,加强风险管理,以应对未来的挑战和机遇。
Instabase 公司完成 1 亿美元 D 轮融资,估值 12.4 亿美元。该公司提供非结构化数据处理平台,可从多种文件中提取信息并标准化。新资金将用于增强数据提取、分析和搜索功能,以满足企业 AI 需求。
人工智能在建筑设计领域正展现出惊人潜力。从生成令人赏心悦目的建筑效果图,到创造无限游戏世界,AI 正逐步改变设计流程。尽管人类仍是核心创作者,但 AI 辅助工具正迅速普及,未来可能会大幅提升设计效率和质量。这一趋势引发了对 AI 取代人类建筑师的担忧,也带来了硬件革命和地缘政治影响。
研究显示,高收入公司的CEO正将人工智能置于业务战略的核心地位。欧美企业声称已具备AI项目的基础条件。专家建议避免过度乐观,关注投资回报,构建稳健的数据基础,并优先考虑循序渐进的推广策略。研究还发现,最成功的公司往往是那些高层领导有意识地不直接参与AI战略制定的公司。