人工智能基础设施初创公司C-Gen.AI今日正式发布,推出一个全新平台,帮助数据中心运营商自动化部署并最大化利用驱动当今最先进AI模型的昂贵硬件资源。
众所周知,AI模型能够帮助自动化以前由人类执行的业务流程。但直到现在,人类仍然不得不艰难地构建和维护支撑这些模型的昂贵基础设施栈。
现在,借助C-Gen.AI,数据中心团队终于可以获得自己的AI自动化解决方案。其全新的GPU编排平台旨在帮助这些团队快速建立AI基础设施,并以最具成本效益的方式进行扩展,避免任何资源浪费。
这家初创公司表示,希望颠覆AI基础设施栈的构建方式。当今最先进的AI模型,如ChatGPT,运行在庞大的图形处理单元集群上,这些集群由人工操作员全天候配置和维护。传统上,管理这种基础设施一直是一个手动、资源密集且缓慢的过程。企业被迫在云基础设施提供商的迷宫中穿行,并处理计算能力未充分利用和扩展困难等问题。
C-Gen.AI希望消除所有这些阻力,为此它使用AI本身来解决问题。C-Gen.AI平台位于客户现有GPU基础设施之上,将这些资源转化为"AI超级计算机",具备自动化集群部署、实时扩展和GPU重用等功能。
该公司表示,其平台可以在几分钟内自动化部署新的AI集群,然后密切监控它们,确保始终平稳运行并达到最高效率。通过动态重新分配闲置GPU资源用于推理任务,确保没有任何资源浪费。
这家初创公司认为可以帮助各种规模的公司。例如,大多数AI初创公司都在昂贵的云基础设施账单上苦苦挣扎,并在扩展时承受缓慢的配置。通过为他们提供能够在几秒钟内适应和扩展的基础设施平台,AI公司可以随着增长而扩展,而无需花费数千美元重新设计和重建基础设施栈。
对于数据中心运营商,特别是那些试图与亚马逊网络服务和谷歌云等巨头竞争的小型运营商,C-Gen.AI表示可以帮助他们更好地组织GPU资源,确保没有任何浪费。通过即时重新分配闲置GPU来处理推理任务,可以帮助他们最大化AI硬件的收入潜力。
此外,C-Gen.AI表示还可以为需要构建自己的可扩展、资源高效AI栈以保持合规的大型企业提供服务。
C-Gen.AI在AI基础设施方面的专业知识来自其创始人兼首席执行官萨米·卡马,他对数据中心颇有了解。他此前曾帮助英伟达公司、AWS和CERN等公司优化其AI栈的性能。
据卡马介绍,AI基础设施行业充满低效问题,大量GPU投资处于闲置状态,主要是由于管理不善和配置缓慢。他说,这是AI硬件成本飙升的一个重要原因。
"基础设施层是大多数AI项目悄然失败的地方,"卡马解释道。"这不仅仅是获得GPU的问题。而是无法足够快地部署、工作负载之间发生的浪费,以及将团队锁定在他们无法承受扩展的环境中的僵化性。"
卡马表示,他的公司能够为AI硬件团队带来的成本节约和效率提升将是巨大的。他引用了高德纳公司的一项预测,该预测显示全球生成式AI支出将从2023年的1240亿美元增长到年底的6440亿美元。同一份报告警告说,大部分支出是由于复杂性和不断增加的技术债务,并敦促企业投资于能够智能扩展和快速适应的基础设施,以避免成本超支。
"如果我们希望企业AI能够提供真正的结果,我们必须修复它运行的基础,"卡马说。"这就是C-Gen.AI提供的价值主张。这是没有痛苦、没有浪费的大规模AI。"
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
伊尔德兹技术大学团队通过词典手术和离线蒸馏,以不足20美元成本打造出专为土耳其语优化的200M参数句子嵌入模型,在语义相似度任务上超越了参数量更大的原版教师模型。