AWS通过升级其机器学习和AI模型训练推理平台SageMaker来巩固市场地位,新增可观测性功能、连接编码环境和GPU集群性能管理等能力。
然而,AWS继续面临来自Google和Microsoft的竞争,这些竞争对手同样提供许多有助于加速AI训练和推理的功能。
SageMaker在2024年转型为整合数据源和访问机器学习工具的统一中心,此次新增的功能可以深入洞察模型性能下降的原因,并为AWS客户提供更多计算资源分配控制能力。
其他新功能包括将本地集成开发环境(IDE)连接到SageMaker,使本地编写的AI项目能够在平台上部署。
SageMaker总经理Ankur Mehrotra告诉VentureBeat,这些新更新许多都源于客户需求。
"我们看到客户在开发生成式AI模型时面临的一个挑战是,当出现问题或运行结果不符合预期时,很难找出技术堆栈中哪一层出了问题,"Mehrotra说。
SageMaker HyperPod可观测性功能使工程师能够检查技术堆栈的各个层级,如计算层或网络层。如果出现任何问题或模型变慢,SageMaker可以发出警报并在仪表板上发布指标。
Mehrotra提到他的团队在训练新模型时遇到的实际问题,训练代码开始给GPU造成压力,导致温度波动。他说,如果没有最新工具,开发人员需要几周时间才能识别问题源头并修复。
连接IDE功能
SageMaker已经为AI开发人员提供了两种训练和运行模型的方式。它提供完全托管的IDE访问,如Jupyter Lab或代码编辑器,通过SageMaker无缝运行模型训练代码。考虑到其他工程师更喜欢使用包含所有扩展的本地IDE,AWS也允许他们在本地机器上运行代码。
然而,Mehrotra指出,这意味着本地编码的模型只能在本地运行,如果开发人员想要扩展,这就成了重大挑战。
AWS新增安全远程执行功能,允许客户继续使用他们偏好的IDE——无论是本地还是托管——并连接到SageMaker。
"这项功能现在为他们提供了两全其美的解决方案,如果需要,他们可以在本地IDE上进行开发,但在实际任务执行方面,可以受益于SageMaker的可扩展性,"他说。
计算资源更灵活
AWS在2023年12月推出SageMaker HyperPod,帮助客户管理用于训练模型的服务器集群。类似于CoreWeave等提供商,HyperPod使SageMaker客户能够将未使用的计算能力导向首选位置。HyperPod根据需求模式知道何时调度GPU使用,让组织能够有效平衡资源和成本。
然而,AWS表示许多客户希望在推理方面也有同样的服务。许多推理任务在白天进行,即人们使用模型和应用的时候,而训练通常安排在非高峰时段。
Mehrotra指出,即使在推理环境中,开发人员也可以优先考虑HyperPod应该关注的推理任务。
AI智能体公司H AI的联合创始人兼CTO Laurent Sifre在AWS博客文章中表示,该公司在构建智能体平台时使用了SageMaker HyperPod。
"从训练到推理的无缝过渡简化了我们的工作流程,缩短了产品上市时间,并在实时环境中提供了一致的性能,"Sifre说。
AWS与竞争对手
亚马逊虽然可能没有像云服务竞争对手Google和Microsoft那样提供最引人注目的基础模型,但AWS更专注于为企业构建AI模型、应用或智能体提供基础设施支撑。
除了SageMaker,AWS还提供专门为构建应用和智能体设计的平台Bedrock。
SageMaker已经存在多年,最初作为连接分散的机器学习工具与数据湖的手段。随着生成式AI热潮开始,AI工程师开始使用SageMaker帮助训练大语言模型。然而,Microsoft正在大力推广其Fabric生态系统,已有70%的财富500强企业采用,力争成为数据和AI加速领域的领导者。Google通过Vertex AI在企业AI采用方面也悄然取得进展。
当然,AWS拥有作为使用最广泛的云服务提供商的优势。任何使其众多AI基础设施平台更易于使用的更新都将是有益的。
好文章,需要你的鼓励
数据分析平台公司Databricks完成10亿美元K轮融资,公司估值超过1000亿美元,累计融资总额超过200亿美元。公司第二季度收入运营率达到40亿美元,同比增长50%,AI产品收入运营率超过10亿美元。超过650家客户年消费超过100万美元,净收入留存率超过140%。资金将用于扩展Agent Bricks和Lakebase业务及全球扩张。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
医疗信息管理平台Predoc宣布获得3000万美元新融资,用于扩大运营规模并在肿瘤科、研究网络和虚拟医疗提供商中推广应用。该公司成立于2022年,利用人工智能技术提供端到端平台服务,自动化病历检索并整合为可操作的临床洞察。平台可实现病历检索速度提升75%,临床审查时间减少70%,旨在增强而非替代临床判断。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。