Elon Musk 的 xAI 公司于周一深夜宣布推出 Grok-3,这是该公司大语言模型家族的最新成员。
该公司表示,这个 AI 模型相比其前代 Grok-2 实现了重大突破,加入了"推理模型"以模拟人类思维。
在直播发布会上,xAI 的研究人员表示,Grok-3 的训练使用了比 Grok-2 多 10 到 15 倍的计算能力。该公司于 9 月份推出了一个名为 Colossus 的大型超级计算机训练系统,配备了 100,000 个 Nvidia 公司的 H100 图形处理单元,专门用于推出 Grok 的新版本。
"Grok-3 的整体表现独具一格," CEO Elon Musk 在发布会上表示。他声称根据早期测试结果,该模型在数学、科学和编程方面的表现超过了 OpenAI 和中国 DeepSeek 的模型。
Grok-3 包含两个主要推理模型:Grok-3 Reasoning beta (一个大型复杂模型) 和 Grok-3 mini Reasoning (一个能快速生成答案的小型快速模型)。在 xAI 的聊天机器人中启用这些模型后,它们会在处理复杂的科学、数学和编程问题时展示其"思考"过程,进行逐步推理。
此次发布恰逢其他公司开始推出推理模型,这些模型能将复杂任务分解为更小的任务,并在提供解决方案前进行自我事实核查。这样做的目的是提供更好的结果。竞争对手开发的类似模型包括 OpenAI 的 o1 和 o3-mini reasoning、DeepSeek 的 R1 以及 Google 的 Gemini 2.0 Flash Thinking Experimental。
"我们需要强调这是一个测试版,这意味着一开始可能会有一些不完善之处,但我们会快速改进,几乎每天都会更新," Musk 补充道。
用户可以启用"Think"功能来使用 Grok-3 模型的推理能力。对于更难的问题,他们可以激活"Big Brain"模式,xAI 表示这最适合处理涉及数学、科学或编程推理的复杂查询。
Grok-3 的推理模式还可以与名为"DeepSearch"的搜索功能配合使用,虽然需要更长时间,但模型会扫描互联网寻找相关知识并将其整合到答案中。xAI 表示使用 DeepSearch 将获得更相关、更详细的回答。
增加这种深度互联网研究能力意味着 xAI 的模型将加入拥有类似功能的竞争对手行列,包括 OpenAI 和 Google。AI 搜索引擎创建者 Perplexity AI 公司在提供搜索答案时直接将深度互联网研究融入其服务中。
Grok-3 还将获得语音模式,允许其用语音回答查询。虽然该功能在发布时尚未推出,但 Musk 表示将在一周左右内推出。Musk 补充说,Grok 的语音模式不仅仅是语音转文本,它将能理解语调、语气和节奏,"就像与真人对话一样"。
好文章,需要你的鼓励
这项研究介绍了Ankh3,一种创新的蛋白质语言模型,通过多任务预训练策略显著提升了模型性能。研究者采用两种互补任务:多掩码概率的掩码语言建模和蛋白质序列补全,使模型仅从蛋白质序列就能学到更丰富的表示。实验表明,Ankh3在二级结构预测、荧光预测等下游任务中表现优异,尤其在模型未曾训练过的任务上展现出强大泛化能力,为蛋白质设计和分析开辟了新路径。
法国波尔多大学研究团队开发了一个突破性框架,用于神经退行性痴呆症的差异化诊断。该框架将3D脑部MRI转换为文本报告,并利用强化学习优化的大语言模型进行详细诊断推理。不同于传统"黑箱"方法,这一系统能生成透明、有因果关系的解释,同时保持高诊断准确率。研究显示,通过群组相对策略优化(GRPO)训练的轻量级模型能展现复杂推理行为,包括假设检验和非线性思考,提供与临床决策流程一致的排序诊断结果。
这项研究提出了CLUE框架,首次能够生成自然语言解释来揭示AI事实核查系统不确定性的来源。与现有方法不同,CLUE能识别文本片段间的冲突与一致关系,并解释它们如何影响模型的预测不确定性。实验表明,CLUE生成的解释在三种语言模型和两个事实核查数据集上都更忠实于模型不确定性,用户评价其更有帮助、信息更丰富、冗余更少且逻辑更一致。CLUE不需要微调或架构更改,适用于任何白盒语言模型,为事实核查提供了实用支持。
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。