自成立不到两年,xAI 就推出了可能是迄今为止最先进的 AI 模型。Grok 3 在所有关键基准测试以及用户评估的 Chatbot Arena 中都达到或超越了最先进的模型水平,而且其训练甚至还未完成。
虽然 xAI 团队尚未发布论文或技术报告,我们对 Grok 3 的细节了解还不多。但根据 xAI 在演示中分享的内容,以及 AI 专家们对该模型进行的各种实验,我们可以推测 Grok 3 在未来几个月可能对 AI 行业产生的影响。
更快的发布节奏
随着 AI 实验室之间竞争加剧 (比如 DeepSeek-R1 的发布),我们可以预期模型发布周期会变得更短。在 Grok 3 的演示中,xAI 创始人 Elon Musk 表示,用户可能会"几乎每天都注意到改进,因为我们在持续优化模型"。
Allen Institute for AI 的机器学习科学家 Nathan Lambert 写道:"来自 DeepSeek 和 Grok 的竞争压力,加上国内外 AI 政治环境的变化,将促使established领先实验室加快发布速度。竞争加剧和监管减少意味着我们这些用户将在更快的时间线上获得更强大的 AI。"
一方面,这对用户来说是好事,因为他们可以持续获取最新最强的模型,而不是等待长达数月的发布。另一方面,这可能对期望模型行为保持一致的开发者产生不稳定影响。之前的研究和用户经验表明,模型的不同版本对相同提示可能会有不同反应。
企业应该开发自定义评估并定期运行,以确保新更新不会破坏他们的应用程序。
扩展定律
最近 DeepSeek-R1 的发布动摇了大公司在建立大型计算集群上的巨额投资。但 xAI 的突然崛起证明了科技公司在 AI 加速器上的巨额投资是正确的。由于 xAI 在孟菲斯的 Collosus 超级计算集群,Grok 3 创下了训练速度记录。
Lambert 写道:"虽然我们没有具体细节,但可以合理地认为扩展仍然有助于提升性能 (但可能在成本上并非如此)。xAI 的方法和信息传达一直是尽快部署最大的集群。在我们获得更多细节之前,最简单的解释是扩展确实有帮助,但 Grok 的性能可能主要来自于简单扩展之外的技术。"
其他分析师指出,xAI 扩展计算集群的能力是 Grok 3 成功的关键。然而,Musk 暗示这里不仅仅是简单的扩展。我们需要等待论文发布才能了解完整细节。
开源文化
大语言模型 (LLM) 正在向开源方向转变。xAI 已经开源了 Grok 1。根据 Musk 的说法,公司的总体政策是开源每个模型,除了最新版本。所以当 Grok 3 完全发布时,Grok 2 将被开源。(Sam Altman 也在考虑开源一些 OpenAI 的模型。)
xAI 还将避免展示 Grok 3 推理的完整思维链 (CoT) tokens,以防止竞争对手复制。相反,它将展示模型推理过程的详细概述 (就像 OpenAI 对 o3-mini 所做的那样)。完整的 CoT 将只在 xAI 开源 Grok 3 时提供,这可能会在 Grok 4 发布之后。
进行自己的体验评估
尽管基准测试结果令人印象深刻,但对 Grok 3 的反应却褒贬不一。前 OpenAI 和 Tesla AI 科学家 Andrej Karpathy 认为其推理能力"处于最先进水平",与 o1-Pro 相当,但也指出它在某些任务上落后于其他最先进的模型,如创建可组合的可扩展矢量图形或处理伦理问题。
其他用户指出了 Grok 3 在编码能力方面相比其他模型的缺陷,尽管也有很多 Grok 3 展现出令人印象深刻编码能力的例子。
好文章,需要你的鼓励
苹果已开始在印度分阶段恢复Apple账户的信用卡支付功能,用户可绑定Visa和Mastercard信用卡及借记卡,用于购买iCloud+、Apple Music订阅及App Store应用。此前,由于印度储备银行于2021年推出新的周期性支付监管框架,苹果于2022年5月暂停了该支付方式。此次恢复标志着苹果在适应各国本地化监管要求方面的持续努力,同时也引发外界对苹果是否将在印度推出Apple Pay的新猜测。
腾讯混元等机构提出HiLS-Attention,通过端到端可学习的分层稀疏注意力机制,让大模型在超长上下文推理中比全量注意力快14倍,同时检索准确率更高。
Bookshop.org创始人Andy Hunter证实,与Kobo的合作集成将于今年落地。此前该计划历经多次推迟,网页措辞一度从"2026年"改为"未来某时"。Hunter表示,双方已就商业条款达成一致,工程团队正将资源重新投入Kobo支持开发,但尚无具体上线日期。该集成将支持数字版权管理要求,让用户通过Bookshop.org购买电子书,同时支持独立书店。
DSpark是DeepSeek与北京大学提出的投机解码框架,通过半自回归生成和置信度调度验证两项创新,将DeepSeek-V4用户生成速度提升60%至85%。