Nvidia 推出了 NeMo 微服务,以将 AI 代理整合进企业工作流,然而研究发现,近一半企业从 AI 投资中获得的收益仅为微小提升。
NeMo 微服务是一组工具,其中部分已经可用,开发者可以利用这些工具构建 AI 代理,这些代理能够与现有的应用程序和服务集成,从而实现任务自动化,并管理代理的生命周期,确保它们及时更新最新信息。
“全球有超过十亿的知识工作者分布在多个行业、地域和地点,我们认为,数字员工或 AI 代理将能在各种领域和场景中帮助企业完成更多工作,” Nvidia 企业生成式 AI 软件高级总监 Joey Conway 表示。
NeMo 微服务还被纳入 Nvidia AI Enterprise 开发者工具整体套件中。
这些组件包括用于收集企业数据的 NeMo Curator,该数据随后会传递给 NeMo Customizer。Conway 将其描述为一项微服务,“它采用了最新的尖端训练技术,为模型传授新技能和新知识,以确保驱动代理的模型始终保持更新。”
NeMo Evaluator 旨在检查驱动代理的模型是否真正有所提升而非退步,而 NeMo Guardrails 则致力于保持代理在既定主题内运行,确保其按预期工作并避免安全与保障方面的隐患。
Nvidia 设想这些微服务将以一个循环流水线方式运作,接收新的数据和用户反馈,将其用于改进 AI 模型,随后再重新部署。Nvidia 称之为“数据飞轮”,尽管我们不免觉得这种描述对真实飞轮功能的理解存在偏差。
这幅图展示了包含中间那位令人毛骨悚然的 Jensen Huang 头像的“数据飞轮”可视化效果 —— 单击可放大查看
Conway 将 NeMo 微服务形容为“基本上就像一个 Docker 容器”。它的编排依赖于 Kubernetes,并辅以如 Kubernetes Operators 之类的附加功能进行支持。
他说:“目前我们已经有一些软件用于协助数据准备和整理,未来这方面还会有更多功能推出。”
Nvidia 宣称其全新 AI 工具包获得了广泛的软件支持,涵盖 SAP、ServiceNow 和 Amdocs 等企业平台;AI 软件堆栈如 DataRobot 和 Dataiku;以及其他工具如 DataStax 和 Cloudera。该工具包还支持来自 Google、Meta、Microsoft、Mistral AI 以及 Nvidia 自身的模型。
据 Nvidia 表示,NeMo 微服务已经在某些场景中投入使用,其中 Amdocs 正在为其电信运营商客户开发三种类型的代理。
这些代理分别为计费代理、销售代理和网络代理。计费代理专注于解决查询问题,而销售代理则致力于在交易达成过程中提供个性化优惠和客户互动。网络代理则会分析不同地理区域和国家内的日志及网络信息,主动识别服务问题。
开发者可以从 Nvidia NGC 目录中下载 NeMo 微服务,或将其作为 Nvidia AI Enterprise 套件的一部分进行部署。
今日同时发布的一项英国研究表明,企业平均在 AI 上的投入为 321,000 英镑(约 427,000 美元),以提升客户体验,尽管许多企业至今未见显著成效。研究发现,44% 的企业领导者表示,目前为止 AI 仅带来微小提升。
尽管如此,近乎所有受访者(93%)声称,他们在 AI 上的投资都获得了不错的投资回报率(ROI)。
该研究由 Storyblok 机构委托进行,Storyblok 是为市场营销人员和开发者提供 CMS 软件的供应商。Storyblok 表示,企业需要超越表面化的应用,将 AI 进行整合,以推动真正的变革。
研究还发现,英国企业领导者最常见的 AI 应用场景包括网站内容创建、客户服务、营销分析、翻译服务和营销内容的生成。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。