Grok 3 已开始推出。xAI 创始人 Elon Musk 将这款聊天机器人描述为"一个追求最大程度真相的 AI,即便这些真相有时与政治正确相悖"。
Grok 3 的预训练工作于今年一月初完成,不过 xAI 团队表示训练仍在继续。为此,他们专门建造了一个大型数据中心。该项目从去年四月开始开发,xAI 表示在 122 天内,该设施就达到了 10 万个 GPU 同步训练的规模。随后又用了 92 天将设施扩展到 20 万个 GPU。
这个数字听起来很大,但实际上呢?与竞争对手相比并不算什么。虽然发展速度令人瞩目,但 xAI 仍落后于 OpenAI。不过,他们试图通过一系列基准测试来证明 Musk 的 AI 平台优于竞争对手。
在简短的演示中,xAI 团队着重强调了 Grok 3 在科学、数学和编程方面相比其他模型 (如 OpenAI 的产品) 的优势。当然,我们在看待科技行业的任何基准测试时都需要持谨慎态度,而不仅仅是 AI 领域。
xAI 表示,Grok 3 的计算能力是其前代产品的 10 倍。而在演示中,Musk 声称这个数字接近 15 倍。
演示内容虽然引人注目但并非突破性的。在编程演示中,团队要求 Grok 3 开发一个结合俄罗斯方块和宝石迷阵的游戏,经过短暂停顿后,系统确实制作出了一个融合两款游戏精华的可玩游戏。
为呼应 Musk 的火星梦想,团队还要求计算往返火星的轨道,Grok 3 随即生成了一份包含动画的任务计划。它还报告了 Musk 另一个项目 - SpaceX 的 Starship 的进展情况。
尽管这些演示并不惊艳,但它们突显了 Grok 飞速发展的步伐。2024 年推出的 Grok 2 将在 Grok 3 被认定为成熟稳定后开源。
X 平台的 Premium+ 订阅用户将率先体验这项更新服务。此外还推出了"SuperGrok"升级版,根据 xAI 的说法,这将让用户提前体验新功能,并提供更高的图像生成限制。演示中没有透露 SuperGrok 的价格,不过 X 平台的 Premium+ 订阅在美国每月 40 美元,在英国为 17 英镑。
Musk 表示对话版本正在开发中,并提醒本周部署的更像是测试版。他说:"如果你想要更完善的版本,也许可以等一周。"
未来几周和几个月将推出的其他功能包括在 xAI 企业 API 中的 Grok 3 模型,以及对话中的记忆功能实现。
即使 Grok 3 具备搜索互联网寻找问题答案的能力,也不太可能引起太大轰动,我们完全可以想象 OpenAI 等竞争对手会迅速发布展示自身优势的基准测试结果。
然而,正是这种发展速度会让竞争对手深思。即便在快速发展的 AI 领域,Grok 3 的快速面世(虽然比 Musk 2024 年吹嘘的年底时间表稍晚)以及相比前代产品的改进,都令人印象深刻。
好文章,需要你的鼓励
这项研究由德累斯顿工业大学等机构的研究团队完成,旨在解决主动学习未被广泛应用的问题。研究者构建了包含460万种超参数组合的实验网格,系统分析了各参数对主动学习性能的影响。研究发现,不同策略实现间存在显著差异,基于边缘的不确定性策略整体表现最佳,随机选择约4000个超参数组合即可获得可靠结果。这些发现为设计可重现、可信赖的主动学习实验提供了明确指导,有助于降低入门门槛,促进技术在实际应用中的普及。
这项由英国爱丁堡大学和上海人工智能实验室研究者共同完成的工作提出了LongBioBench,一种用于评估长文本语言模型的新型基准测试框架。通过使用人工生成的虚构人物传记作为测试环境,该框架在保持可控性的同时,提供了更真实的评估场景。研究对18个长文本模型的测试表明,即使最先进的模型在检索、推理和可信任性方面仍存在显著挑战,特别是上下文长度增加时。研究还揭示了现有合成基准测试的设计缺陷和长上下文预训练的局限性,为未来模型开发提供了重要指导。
SuperWriter是一项来自新加坡科技设计大学和清华大学的突破性研究,通过模仿人类"先思考后写作"的过程,彻底改良了AI长文生成能力。该研究团队开发的框架包含三个关键阶段:规划、写作和修改,使AI能像专业作家一样进行结构化思考。实验结果表明,经过训练的SuperWriter-LM模型不仅超越同等规模的所有AI模型,甚至在某些领域表现优于规模更大的顶级模型,为AI辅助写作开创了新的可能性。
香港大学与阿里巴巴达摩院合作开发的LayerFlow是一种突破性的层级视频生成技术,能同时生成透明前景、完整背景和混合场景视频。该技术通过创新的框架设计将不同视频层级作为子片段连接,并引入层级嵌入使模型区分各层级。面对高质量训练数据稀缺的挑战,研究团队设计了三阶段训练策略,结合Motion LoRA和Content LoRA,实现了图像和视频数据的联合训练。LayerFlow不仅支持多层视频生成,还能实现视频分解和条件层生成,为视频创作领域带来革命性变革。