Tensormesh获Nvidia、AMD和CoreWeave投资，解决AI模型内存问题

Tensormesh公司找到了一种提高人工智能推理效率的方法，通过消除冗余计算来优化AI模型性能。这项技术得到了多家AI基础设施巨头的认可，它们共同为Tensormesh提供了2000万美元的融资支持。

本轮融资的参与方包括Nvidia公司、AMD公司和CoreWeave公司，以及风险投资机构Valley Capital Partners和Laude Ventures。至此，Tensormesh的累计融资总额达到2450万美元。与此同时，该公司推出了其旗舰软件即服务产品Tensormesh Inference。

Tensormesh的技术旨在解决图形处理器最突出的效率问题之一。由于GPU的内存缓存有限，它们不得不反复处理相同的数据。这一设计挑战源于大语言模型的工作方式。通常情况下，大语言模型部署会将收到的每个新请求或提示词视为全新任务。因此，即使AI聊天机器人正在与用户进行长时间对话，或者分析之前见过的文档，GPU也需要从头开始重新处理整个上下文窗口。

这家初创公司通过一种称为键值缓存（KV缓存）的技术来解决这个问题。该技术的作用是存储大语言模型在处理提示词时生成的中间数据。

由于帮助模型记住这些计算结果，Tensormesh使得每次新提示词到达时可以跳过重新处理步骤，从而实现更快的响应速度。对于构建需要通过多个步骤来执行任务或解决问题的智能体模型的开发者来说，这项技术可以将延迟和GPU支出降低10倍。

Tensormesh Inference基于开源的LMCache项目构建，包含一个成本节约仪表板，允许开发者跟踪缓存命中率并将其转换为具体的成本节约数字。此外，它还让开发者能够直接控制分配给缓存的存储空间大小，从而根据大语言模型部署规模和使用率来微调基础设施以实现效率最大化。据该公司介绍，一些客户已经实现了超过70%的缓存命中率，这意味着超过三分之二的提示词是从缓存中检索而非重新计算的。

部署方式灵活多样，提供三种选择。开发者可以使用与OpenAI标准完全兼容的无服务器应用程序接口，使其能够无缝集成到现有工作流程中。或者，对于运行更密集工作负载的客户，该公司提供基于专用GPU资源的按需部署，以及为需要定制服务级别协议的企业提供的预留部署方案。

创始人兼首席执行官Junchen Jiang表示，他对Nvidia、AMD和CoreWeave率先理解其公司技术的意义并不感到意外。"Tensormesh为大语言模型在处理提示词时生成的中间数据的重要性提供了新的视角，"他说。"KV缓存这个术语背后是AI对所提问题的整体理解概念，这是一个全新的数据类别。"

这正是Tensormesh技术的潜力所在。它正在将"中间AI数据"转变为一个全新的资产类别，随着AI智能体变得越来越复杂，这可能会变得极具价值。智能体的能力越强，所需的上下文窗口就越大。通过扩展这些上下文窗口，Tensormesh很可能成为智能体AI技术栈中的关键组成部分。

本轮融资所得资金将用于扩展Tensormesh与AMD、Nvidia和CoreWeave基础设施的硬件集成，并加速产品开发。该公司还将继续致力于底层开源LMCache项目，该项目将成为其许多计划中创新成果的主要受益者。

Q&A

Q1：Tensormesh是如何提高AI推理效率的？

A：Tensormesh通过键值缓存（KV缓存）技术来提高效率。该技术存储大语言模型在处理提示词时生成的中间数据，使模型能够记住这些计算结果。这样每次新提示词到达时就可以跳过重新处理步骤，实现更快的响应速度，可以将延迟和GPU支出降低10倍。

Q2：Tensormesh Inference产品有哪些部署方式？

A：Tensormesh Inference提供三种灵活的部署方式。第一种是与OpenAI标准完全兼容的无服务器API，可以无缝集成到现有工作流程。第二种是基于专用GPU资源的按需部署，适合运行密集工作负载的客户。第三种是预留部署方案，专为需要定制服务级别协议的企业设计。

Q3：使用Tensormesh能节省多少成本？

A：根据Tensormesh介绍，一些客户已经实现了超过70%的缓存命中率，意味着超过三分之二的提示词是从缓存中检索而非重新计算。该产品包含成本节约仪表板，可以跟踪缓存命中率并转换为具体的成本节约数字，帮助开发者直观了解节省的GPU支出。