今天我亲手握住了世界上最大的计算机芯片。虽然它的体积令人印象深刻,但其速度更为惊人,也更为重要。大多数计算机芯片都很小,只有邮票大小甚至更小。相比之下, Cerebras WSE (Wafer Scale Engine) 是一个巨大正方形,每边长 8.5 英寸或 22 厘米,而最新型号在单个芯片上拥有惊人的 40 亿个晶体管。正是因为有了这数十亿个晶体管,WSE 才创造了 AI 推理操作的世界速度记录,比一个大体上性能相当的 NVIDIA 集群快约 2.5 倍。
“这是全球最快的推理速度,” Cerebras 首席信息安全官 Naor Penso 今天在温哥华 Web Summit 上对我说。 “上周 NVIDIA 宣布在 Llama 4 上实现了每秒 1,000 个 token 的速度,这令人印象深刻。而我们今天刚刚发布的基准测试达到了每秒 2,500 个 token。”
如果你对这些概念感到陌生,可以把“推理”理解为思考或行动:根据你的输入或提示构建句子、图像或视频。把“token”看作思维的基本单元:一个单词、一个字符或一个符号。
AI 引擎每秒能处理的 token 越多,它返回结果的速度也就越快。而速度至关重要。也许对你个人来说意义不大,但当企业客户希望在购物车中加入 AI 引擎,以便即时告诉你只需再加一种配料就能做出完美的韩式烧烤牛肉塔可时,他们必须能够为成千上万的人迅速提供服务。
有趣的是,速度即将变得更加关键。
我们正迈入一个代理时代,届时 AI 将能为我们执行复杂的多步骤任务,例如规划并预订去奥斯汀观看一级方程式比赛的周末旅行。代理并非魔法:他们对待大任务的方式和你一样……一步一步来。也就是说,需要将一个庞大的任务分解为 40、50 或甚至 100 个子任务,这就意味着工作量会大幅增加。
“AI 代理需要处理更多的工作,而且各个任务之间需要相互通信,” Penso 告诉我。 “你不能忍受推理速度缓慢。”
WSE 上的 40 亿个晶体管正是实现这种高速性能的关键部分。作为对比,英特尔 Core i9 拥有 33.5 亿个晶体管,而 Apple M2 Max 芯片也仅提供 67 亿个晶体管。但构建出高速计算怪兽的关键不仅仅在于晶体管数量,更在于系统的协同布局:将所有组件整合在同一芯片上,同时配备 44GB 的最快型 RAM(内存)。
“AI 计算需要大量的内存,” Penso 说。 “NVIDIA 需要外部存储,而使用 Cerebras 你不需要外部存储。”
独立机构 Artificial Analysis 验证了这一速度数据,他们称在 Llama 4 上测试该芯片时达到了每秒 2,522 个 token,而 NVIDIA Blackwell 的速度只有每秒 1,038 个 token。
“我们测试了数十家供应商,而 Cerebras 是唯一在 Meta 旗舰模型推理中表现优于 Blackwell 的解决方案,” Artificial Analysis 首席执行官 Micah Hill-Smith 表示。
WSE 芯片展示了计算机芯片设计的一次有趣演进。
自 1950 年代开始制造集成电路和 1960 年代开始制造微处理器以来,CPU 曾长期主导着计算领域。直到最近,GPU(图形处理单元)才从图形和游戏领域的辅助工具转变为 AI 开发中关键的处理组件。Cerebras 首席营销官 Julie Shin 告诉我,WSE 并非采用 x86 或 ARM 架构,而是一种全新架构,用于加速 GPU 计算。
“这不是一项渐进式技术,” 她补充道。 “这是芯片领域的又一次跨越性飞跃。”
好文章,需要你的鼓励
这项由清华大学与NVIDIA合作的研究提出了"负例感知微调"(NFT)算法,挑战了"自我提升仅适用于强化学习"的传统观念。通过构建隐式负面策略处理错误答案,NFT在数学推理任务上匹配甚至超越了顶尖强化学习算法的表现。研究不仅证明了监督学习与强化学习在特定条件下的等价性,还展示了如何利用负面反馈显著提升大语言模型的数学能力,为AI训练方法论开辟了新视角。
这项研究提出了一种名为混合推理策略优化(HRPO)的新方法,通过强化学习使大型语言模型能够结合离散标记和连续隐藏表示进行推理。HRPO设计了创新的门控机制,初始时以标记嵌入为主,逐渐增加隐藏状态的比例,并通过强化学习优化这一混合策略。实验表明,HRPO在知识和推理任务上显著优于现有方法,甚至使小型模型达到大型模型的性能,同时展现出跨语言推理等有趣特性。
这项研究介绍了REARANK,一种基于大语言模型的创新列表式推理重排序助手。通过强化学习技术,该模型在排序前先进行明确推理,显著提升了排序性能和可解释性。仅使用179个标注样本训练的REARANK-7B在多个信息检索基准测试中表现卓越,甚至在推理密集型任务上超越了GPT-4。研究证明了结合推理能力与高效排序策略的重要性,为构建更智能的信息检索系统提供了新思路。
"当我看到梵高的每一笔中都有他的痛苦时,才明白我们看的不是作品,而是作者的人生。AI正以惊人的速度接近人类水平通用智能,让Google从'伦敦那帮疯子在搞AGI'转变为全公司共识。DeepMind让AI'合理地幻觉'来创造突破,就像Astra技术让用户第一次惊呼'AI能做到比想象更多'——这不仅是技术革命,更是重新定义创造力的开始。"