人工智能基础设施初创公司C-Gen.AI今日正式发布,推出一个全新平台,帮助数据中心运营商自动化部署并最大化利用驱动当今最先进AI模型的昂贵硬件资源。
众所周知,AI模型能够帮助自动化以前由人类执行的业务流程。但直到现在,人类仍然不得不艰难地构建和维护支撑这些模型的昂贵基础设施栈。
现在,借助C-Gen.AI,数据中心团队终于可以获得自己的AI自动化解决方案。其全新的GPU编排平台旨在帮助这些团队快速建立AI基础设施,并以最具成本效益的方式进行扩展,避免任何资源浪费。
这家初创公司表示,希望颠覆AI基础设施栈的构建方式。当今最先进的AI模型,如ChatGPT,运行在庞大的图形处理单元集群上,这些集群由人工操作员全天候配置和维护。传统上,管理这种基础设施一直是一个手动、资源密集且缓慢的过程。企业被迫在云基础设施提供商的迷宫中穿行,并处理计算能力未充分利用和扩展困难等问题。
C-Gen.AI希望消除所有这些阻力,为此它使用AI本身来解决问题。C-Gen.AI平台位于客户现有GPU基础设施之上,将这些资源转化为"AI超级计算机",具备自动化集群部署、实时扩展和GPU重用等功能。
该公司表示,其平台可以在几分钟内自动化部署新的AI集群,然后密切监控它们,确保始终平稳运行并达到最高效率。通过动态重新分配闲置GPU资源用于推理任务,确保没有任何资源浪费。
这家初创公司认为可以帮助各种规模的公司。例如,大多数AI初创公司都在昂贵的云基础设施账单上苦苦挣扎,并在扩展时承受缓慢的配置。通过为他们提供能够在几秒钟内适应和扩展的基础设施平台,AI公司可以随着增长而扩展,而无需花费数千美元重新设计和重建基础设施栈。
对于数据中心运营商,特别是那些试图与亚马逊网络服务和谷歌云等巨头竞争的小型运营商,C-Gen.AI表示可以帮助他们更好地组织GPU资源,确保没有任何浪费。通过即时重新分配闲置GPU来处理推理任务,可以帮助他们最大化AI硬件的收入潜力。
此外,C-Gen.AI表示还可以为需要构建自己的可扩展、资源高效AI栈以保持合规的大型企业提供服务。
C-Gen.AI在AI基础设施方面的专业知识来自其创始人兼首席执行官萨米·卡马,他对数据中心颇有了解。他此前曾帮助英伟达公司、AWS和CERN等公司优化其AI栈的性能。
据卡马介绍,AI基础设施行业充满低效问题,大量GPU投资处于闲置状态,主要是由于管理不善和配置缓慢。他说,这是AI硬件成本飙升的一个重要原因。
"基础设施层是大多数AI项目悄然失败的地方,"卡马解释道。"这不仅仅是获得GPU的问题。而是无法足够快地部署、工作负载之间发生的浪费,以及将团队锁定在他们无法承受扩展的环境中的僵化性。"
卡马表示,他的公司能够为AI硬件团队带来的成本节约和效率提升将是巨大的。他引用了高德纳公司的一项预测,该预测显示全球生成式AI支出将从2023年的1240亿美元增长到年底的6440亿美元。同一份报告警告说,大部分支出是由于复杂性和不断增加的技术债务,并敦促企业投资于能够智能扩展和快速适应的基础设施,以避免成本超支。
"如果我们希望企业AI能够提供真正的结果,我们必须修复它运行的基础,"卡马说。"这就是C-Gen.AI提供的价值主张。这是没有痛苦、没有浪费的大规模AI。"
好文章,需要你的鼓励
一加正式推出AI功能Plus Mind和Mind Space,将率先在一加13和13R上线。Plus Mind可保存、建议、存储和搜索屏幕内容,并将信息整理到Mind Space应用中。该功能可通过专用按键或手势激活,能自动创建日历条目并提供AI搜索功能。一加还计划推出三阶段AI战略,包括集成大语言模型和个人助手功能,同时将推出AI语音转录、通话助手和照片优化等工具。
北航团队推出Easy Dataset框架,通过直观的图形界面和角色驱动的生成方法,让普通用户能够轻松将各种格式文档转换为高质量的AI训练数据。该工具集成了智能文档解析、混合分块策略和个性化问答生成功能,在金融领域实验中显著提升了AI模型的专业表现,同时保持通用能力。项目已开源并获得超过9000颗GitHub星标。
预计到2035年,数据中心用电需求将增长一倍以上,达到440TWh,相当于整个加利福尼亚州的用电量。AI工作负载预计将占2030年数据中心需求的50-70%。传统冷却系统电机存在功率浪费问题,通常在30-50%负载下运行时效率急剧下降。采用高效率曲线平坦的适配电机可显著降低冷却系统功耗,某大型数据中心通过优化电机配置减少了近4MW冷却功耗,为13500台AI服务器腾出空间,年增收入900万美元。
卢森堡计算机事件响应中心开发的VLAI系统,基于RoBERTa模型,能够通过阅读漏洞描述自动判断危险等级。该系统在60万个真实漏洞数据上训练,准确率达82.8%,已集成到实际安全服务中。研究采用开源方式,为网络安全专家提供快速漏洞风险评估工具,有效解决了官方评分发布前的安全决策难题。