Grok 3 已开始推出。xAI 创始人 Elon Musk 将这款聊天机器人描述为"一个追求最大程度真相的 AI,即便这些真相有时与政治正确相悖"。
Grok 3 的预训练工作于今年一月初完成,不过 xAI 团队表示训练仍在继续。为此,他们专门建造了一个大型数据中心。该项目从去年四月开始开发,xAI 表示在 122 天内,该设施就达到了 10 万个 GPU 同步训练的规模。随后又用了 92 天将设施扩展到 20 万个 GPU。
这个数字听起来很大,但实际上呢?与竞争对手相比并不算什么。虽然发展速度令人瞩目,但 xAI 仍落后于 OpenAI。不过,他们试图通过一系列基准测试来证明 Musk 的 AI 平台优于竞争对手。
在简短的演示中,xAI 团队着重强调了 Grok 3 在科学、数学和编程方面相比其他模型 (如 OpenAI 的产品) 的优势。当然,我们在看待科技行业的任何基准测试时都需要持谨慎态度,而不仅仅是 AI 领域。
xAI 表示,Grok 3 的计算能力是其前代产品的 10 倍。而在演示中,Musk 声称这个数字接近 15 倍。
演示内容虽然引人注目但并非突破性的。在编程演示中,团队要求 Grok 3 开发一个结合俄罗斯方块和宝石迷阵的游戏,经过短暂停顿后,系统确实制作出了一个融合两款游戏精华的可玩游戏。
为呼应 Musk 的火星梦想,团队还要求计算往返火星的轨道,Grok 3 随即生成了一份包含动画的任务计划。它还报告了 Musk 另一个项目 - SpaceX 的 Starship 的进展情况。
尽管这些演示并不惊艳,但它们突显了 Grok 飞速发展的步伐。2024 年推出的 Grok 2 将在 Grok 3 被认定为成熟稳定后开源。
X 平台的 Premium+ 订阅用户将率先体验这项更新服务。此外还推出了"SuperGrok"升级版,根据 xAI 的说法,这将让用户提前体验新功能,并提供更高的图像生成限制。演示中没有透露 SuperGrok 的价格,不过 X 平台的 Premium+ 订阅在美国每月 40 美元,在英国为 17 英镑。
Musk 表示对话版本正在开发中,并提醒本周部署的更像是测试版。他说:"如果你想要更完善的版本,也许可以等一周。"
未来几周和几个月将推出的其他功能包括在 xAI 企业 API 中的 Grok 3 模型,以及对话中的记忆功能实现。
即使 Grok 3 具备搜索互联网寻找问题答案的能力,也不太可能引起太大轰动,我们完全可以想象 OpenAI 等竞争对手会迅速发布展示自身优势的基准测试结果。
然而,正是这种发展速度会让竞争对手深思。即便在快速发展的 AI 领域,Grok 3 的快速面世(虽然比 Musk 2024 年吹嘘的年底时间表稍晚)以及相比前代产品的改进,都令人印象深刻。
好文章,需要你的鼓励
这项由北京大学人工智能研究院完成的研究,首次从数据压缩理论角度揭示了大型语言模型存在"弹性"现象——即使经过精心安全对齐,模型仍倾向于保持预训练时的行为分布。
卢森堡大学研究团队开发的RLDP框架首次将强化学习应用于差分隐私优化,创造性地解决了AI训练中隐私保护与模型效果的矛盾。该方法如同智能教练,能动态调整隐私保护策略,在四种语言模型上实现平均5.6%的性能提升和71%的训练时间缩短,同时增强了抗隐私攻击能力,为敏感数据的AI应用开辟了新路径。
过去七年中,基于机器学习的AI工具几乎完全自动化了地震学的基础任务——地震检测。AI模型能够检测到比人工分析师更小的地震,特别是在城市等嘈杂环境中。斯坦福团队开发的地震变换器等模型使用一维卷积和注意力机制,在包含120万个人工标记样本的数据集上训练。这些工具通常能发现比传统方法多10倍以上的地震,为火山结构成像和地质研究提供了更全面的地震目录。
腾讯混元团队联合北京大学提出MixGRPO技术,通过混合ODE-SDE采样策略和滑动窗口机制,将AI图像生成训练效率提升50%-71%,同时在多项人类偏好评估指标上超越现有方法。该技术采用"从难到易"的渐进优化策略,专注于图像生成早期阶段的重点优化,并引入高阶求解器进一步加速训练过程,为AI图像生成的产业化应用提供了更高效可行的解决方案。