就在SIGGRAPH(年度人工智能学术会议)召开期间,Nvidia宣布推出一个新平台,旨在让用户在PC或工作站上创建、测试和定制生成式人工智能模型,然后将其扩展到数据中心和公有云中。
“为了推动AI大众化,我们必须让它几乎可以在任何地方运行,”Nvidia创始人兼首席执行官黄仁勋在大会上表示。
被称为AI Workbench的服务可以通过在本地工作站上运行的界面访问,开发人员可以使用它来微调和测试来自Hugging Face和GitHub等流行社区的算法模型,并在需要扩展时访问云计算资源。
Nvidia计算副总裁Manuvir Das表示,推出AI Workbench是为了定制AI大模型。企业级人工智能项目可能需要在多个数据库中寻找合适的框架和工具,当项目需要从一个基础设施转移到另一个基础设施时,这个过程变得更加复杂。
当然,将企业模型投入生产的成功率很低。
来自KDnuggets的一项调研数据显示,大多数数据科学家表示,在部署机器学习模型之前,他们的项目中有超过80%是停滞不前的。根据Gartner的另一个预测数据,接近85%的大数据项目失败,都是因为基础设施障碍导致的。
“全球企业正在竞相寻找合适的基础设施并构建生成式AI模型和应用程序,”Das在一份预先准备的声明中表示。“Nvidia AI Workbench为跨组织团队创建基于人工智能的应用程序提供了一条简化的路径,这在现代商业中变得越来越重要。” 关于这条“简化”路径到底有多简化,目前还没有定论。但根据Das的观点是,AI Workbench允许开发人员从开源资源中汇集模型、框架、SDK和库,包括用于数据准备和数据可视化的库,进入一个统一的工作空间。
随着对人工智能(尤其是生成式人工智能)的需求增长,越来越多专注于将大型通用模型微调为特定用例的工具随之出现。像Fixie、Reka和Together这样的初创公司旨在使公司和个人开发人员能够更轻松地根据自己的需求定制模型,而无需支付昂贵的云计算费用。
通过AI Workbench,Nvidia提供了一种更为分散的微调方法,即在本地机器上进行,而不是在云服务上进行。这是有道理的,因为Nvidia及其产品组合的人工智能加速GPU将受益;Nvidia在宣布这一消息的新闻稿中并不掩饰其RTX系列产品的提及。但是,除了Nvidia的商业动机之外,这个提议可能会吸引那些不希望受制于单一云或服务进行人工智能模型实验的开发人员。
由于对GPU的人工智能驱动需求,Nvidia的收益达到了新的高度。
今年5月,该公司的市值曾一度达到1万亿美元,此前一季度的收入为71.9亿美元,比上一财季增长了19%。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。