今天我亲手握住了世界上最大的计算机芯片。虽然它的体积令人印象深刻,但其速度更为惊人,也更为重要。大多数计算机芯片都很小,只有邮票大小甚至更小。相比之下, Cerebras WSE (Wafer Scale Engine) 是一个巨大正方形,每边长 8.5 英寸或 22 厘米,而最新型号在单个芯片上拥有惊人的 40 亿个晶体管。正是因为有了这数十亿个晶体管,WSE 才创造了 AI 推理操作的世界速度记录,比一个大体上性能相当的 NVIDIA 集群快约 2.5 倍。
“这是全球最快的推理速度,” Cerebras 首席信息安全官 Naor Penso 今天在温哥华 Web Summit 上对我说。 “上周 NVIDIA 宣布在 Llama 4 上实现了每秒 1,000 个 token 的速度,这令人印象深刻。而我们今天刚刚发布的基准测试达到了每秒 2,500 个 token。”
如果你对这些概念感到陌生,可以把“推理”理解为思考或行动:根据你的输入或提示构建句子、图像或视频。把“token”看作思维的基本单元:一个单词、一个字符或一个符号。
AI 引擎每秒能处理的 token 越多,它返回结果的速度也就越快。而速度至关重要。也许对你个人来说意义不大,但当企业客户希望在购物车中加入 AI 引擎,以便即时告诉你只需再加一种配料就能做出完美的韩式烧烤牛肉塔可时,他们必须能够为成千上万的人迅速提供服务。
有趣的是,速度即将变得更加关键。
我们正迈入一个代理时代,届时 AI 将能为我们执行复杂的多步骤任务,例如规划并预订去奥斯汀观看一级方程式比赛的周末旅行。代理并非魔法:他们对待大任务的方式和你一样……一步一步来。也就是说,需要将一个庞大的任务分解为 40、50 或甚至 100 个子任务,这就意味着工作量会大幅增加。
“AI 代理需要处理更多的工作,而且各个任务之间需要相互通信,” Penso 告诉我。 “你不能忍受推理速度缓慢。”
WSE 上的 40 亿个晶体管正是实现这种高速性能的关键部分。作为对比,英特尔 Core i9 拥有 33.5 亿个晶体管,而 Apple M2 Max 芯片也仅提供 67 亿个晶体管。但构建出高速计算怪兽的关键不仅仅在于晶体管数量,更在于系统的协同布局:将所有组件整合在同一芯片上,同时配备 44GB 的最快型 RAM(内存)。
“AI 计算需要大量的内存,” Penso 说。 “NVIDIA 需要外部存储,而使用 Cerebras 你不需要外部存储。”
独立机构 Artificial Analysis 验证了这一速度数据,他们称在 Llama 4 上测试该芯片时达到了每秒 2,522 个 token,而 NVIDIA Blackwell 的速度只有每秒 1,038 个 token。
“我们测试了数十家供应商,而 Cerebras 是唯一在 Meta 旗舰模型推理中表现优于 Blackwell 的解决方案,” Artificial Analysis 首席执行官 Micah Hill-Smith 表示。
WSE 芯片展示了计算机芯片设计的一次有趣演进。
自 1950 年代开始制造集成电路和 1960 年代开始制造微处理器以来,CPU 曾长期主导着计算领域。直到最近,GPU(图形处理单元)才从图形和游戏领域的辅助工具转变为 AI 开发中关键的处理组件。Cerebras 首席营销官 Julie Shin 告诉我,WSE 并非采用 x86 或 ARM 架构,而是一种全新架构,用于加速 GPU 计算。
“这不是一项渐进式技术,” 她补充道。 “这是芯片领域的又一次跨越性飞跃。”
好文章,需要你的鼓励
Allen AI研究所联合多家顶尖机构推出SAGE智能视频分析系统,首次实现类人化的"任意时长推理"能力。该系统能根据问题复杂程度灵活调整分析策略,配备六种智能工具进行协同分析,在处理10分钟以上视频时准确率提升8.2%。研究团队创建了包含1744个真实娱乐视频问题的SAGE-Bench评估平台,并采用创新的AI生成训练数据方法,为视频AI技术的实际应用开辟了新路径。
联想推出新一代NVMe存储解决方案DE6600系列,包含全闪存DE6600F和混合存储DE6600H两款型号。该系列产品延迟低于100微秒,支持多种连接协议,2U机架可容纳24块NVMe驱动器。容量可从367TB扩展至1.798PiB全闪存或7.741PiB混合配置,适用于AI、高性能计算、实时分析等场景,并配备双活控制器和XClarity统一管理平台。
中科院团队首次系统评估了AI视觉模型在文本压缩环境下的理解能力,发现虽然AI能准确识别压缩图像中的文字,但在理解深层含义、建立关联推理方面表现不佳。研究通过VTCBench测试系统揭示了AI存在"位置偏差"等问题,为视觉文本压缩技术的改进指明方向。