Cloudian：AI推理将需要海量存储空间

专访：在与Cloudian创始人兼首席执行官Michael Tso的简报会中，我们探讨了AI的数据存储需求，了解到推理可能需要将大量上下文数据存储在线，而计算必须贴近这些数据。本次对话已为简洁和流畅性进行编辑。

Blocks & Files：您认为AI真的会变得非常重要吗？这不仅仅是一个泡沫？

Michael Tso：我认为这将改变世界。我不想夸大其词，但我认为这是一个类似詹姆斯·瓦特时代的历史性时刻。

我不确定这对人类意味着什么，因为我们基本上正在让自己自动化。我们正在自动化我们通常做的所有工作，我认为这种变化的速度超出了生物体的适应能力。所以我认为这是一个问题。我认为我们必须很快弄清楚我们要如何定位自己。

Blocks & Files：您在Cloudian内部使用一些先进的AI吗，比如用于编程工作？

Michael Tso：始终是有监督的。我们让AI编写一些代码，它在分析代码、修复问题和告诉你为什么不工作方面非常出色。我们刚刚在一些GPU服务器上进行测试时遇到了困难。看起来某种硬件设置不对。所以我们直接问AI，正确的文件设置应该是什么？通常这种情况会花费很长时间，因为这是一个新机器，你找不到任何相关信息。但它给了我们一堆建议。我们尝试后就突破了瓶颈，事情变得快多了。就像任何工具一样，我们需要学习如何利用它。

Blocks & Files：您如何看待未来？Cloudian会继续提供快速、可靠的存储层来支持AI和其他应用吗？

Michael Tso：我相信计算将向数据靠拢。我相信当数据变得如此庞大时，计算必须向数据靠拢。

我认为我们现在在超融合中所拥有的是光谱的一端，计算使用少量数据，你会将数据吸入计算中，这样会快很多。Cloudian这些年来一直在光谱的另一端工作，理念是数据会产生如此强的引力，以至于会吸引计算过来。英伟达实际上也认同这一愿景。

我们现在要做的是将Cloudian构建成一个完整的数据处理平台。我们不再只是一个存储平台。这个理念是我们接收数据，并将其转换为不同格式，可以被不同的AI工具轻松使用和处理。可以这样想，通常你只是从这家公司获取文档，我们会存储它并对其进行法律保全等操作。但现在当数据进来时，我们会将数据向量化。我们会将其放入向量化数据库。

我们对Cloudian的看法是，Cloudian是一个真正的平台，你可以摄取数据，可以插入这些处理数据的模块，这些模块然后可以创建自己的数据。我们很早就构建了这个原型。我们对视频感兴趣。我们可以对视频进行自动标记。

这是一个例子。但想象一下现在在任何类型的数据、任何类型的插件上大规模地做这件事。我们现在正在开发的插件是英伟达推理微服务、NeMO检索器和NIM。

我们现在正在开发推理管道。你接收用户问题，首先为问题添加所有上下文。然后你获取上下文并将其传递给你的AI模型。首先传递给拥有所有企业知识的本地模型。然后传递给拥有宇宙知识的全局模型。你将这些结合起来，然后回去检查这是否是他们要找的答案。如果不对，那么你必须修复某些东西并再次回去。这就是推理管道。

最后你得出一个答案，然后再次回去。所以存储在这个管道中极其重要，因为第一，整个"我的数据"概念是关键。这将始终保留在企业内部。这是第一点。第二，另一个人们忽视的是用户数据。所以，为了让我知道你在问什么，我实际上必须加载我与你过去所有的历史对话。

Blocks & Files：您必须为用户提供上下文，以便能够解释问题？

Michael Tso：完全正确。[使用AI工具]最初是问答形式。它不记住任何东西。但现在它记住关于你的一切。你可能听说过LM缓存和KV缓存。这些东西做的基本上是缓存你之前的对话。本质上它缓存Token输入和Token输出。所以它不必重新计算。它以向量化的方式缓存，具有非常快的搜索功能。

Blocks & Files：所以在特定的AI问答会话中，当首次做出响应时，你需要该响应会话的Token，你还需要该用户上下文的Token。这意味着你必须存储它们。

Michael Tso：没错——你必须永远存储它们，为数十亿人存储。

Blocks & Files：存储在什么上？磁带？

Michael Tso：不能在磁带上。这是在线的。必须是在线的。我认为这将是分层解决方案。我认为将我们所有的生活都存储在NAND上会很困难。

Blocks & Files：您说的是EB级别。

Michael Tso：是的，完全正确。当英伟达第一次找到Cloudian说我们想与你们合作时。当时我想，"嘿，你们为什么需要与我们合作？你们与DDN和VAST合作得很愉快啊？"他们说："嗯，我们需要你们进行训练，因为数据越来越大，但更重要的是，我们需要你们进行推理"和"推理需要大量存储。"

我想，真的吗？模型相当小，不是吗？所以我当时不理解，[但后来]我意识到，天哪，谁愿意与一个AI交谈，每次我都需要告诉它，好吧，我是一个50多岁的男性。这很愚蠢，对吧？拥有助手的好处，某个为你工作了20年的人，他们了解你的一切。所以你问某事，他们给你正确的答案。所以这就是我们对AI的期望。我们期望它们永远记住我们的一切。我们告诉它的一切——它都应该知道，对吧？所以如果你想到存储这个，我的意思是，这是巨大的。这是海量的存储。

Blocks & Files：我想，您一定与客户、潜在客户谈论过这个，他们一定坐在桌子对面听您说。他们说什么？

Michael Tso：每个人的反应都是："哇，我们从来没有这样想过。"这是真的。这正是每个人的反应。

基本上，英伟达在一年半前意识到AI的钱最初都在训练中。但最终是在推理中，因为每个人都必须这样做。要在推理中赚钱，你实际上有一个存储问题。这实际上不仅仅是计算问题。他们有存储问题，需要分布式大规模存储。

这意味着什么？以合理成本的分布式大规模存储。那就是对象存储。所以这就是他们来找我们谈话的原因。你会想要分层的东西，让你从小开始并成长。

我们来自企业。所以我们看着它说，哦，这很有趣。那么这对我们意味着什么？这意味着我们已经拥有的架构，这是一个可以遍布世界的点对点分布式架构。这是完美的。对吧？我们已经有了插入和在其上进行计算的方法。真的很完美。我们现在必须做的是，我们实际上必须比我们认为必须的更早地在平台中集成更多计算。

你是否在每个目前只有CPU、网卡和存储的Cloudian存储节点中放入GPU？

还有另一种方法。在我们的存储集群中，你构建一个计算集群。我们传统上相信你希望计算尽可能接近数据。所以我们最终会有我们现在做的，即你在节点上对数据进行一些计算，然后我们将在内部计算集群上做繁重的工作。

因为这样我们可以轻松地扩展。这样我们也可以稍后添加。因为购买Cloudian系统的客户可能在第一天不知道他们将运行向量数据库。他们可能不想这样做，但在某个时候，他们会想做这种推理。

Blocks & Files：您可以在云中实现这个？

Michael Tso：是的。

Blocks & Files：您的愿景是什么？

Michael Tso：我们的愿景是客户可以在我们的平台上选择他们想要的任何推理模块。所以我们会提供一些，但他们可以提供其他的；这是一个开放平台。所以我们将从长期数据存储归档平台发展。我们已经在做很多微服务和现代应用。所以我们已经在一级存储中。但当我们进入这个有趣的AI世界时，我们现在成为应用软件的一部分。但这是有道理的，因为基本上，基础设施正在升级。如果几年后你只做存储，你就不会有竞争力。