Mistral AI 和艾伦人工智能研究所 (Allen Institute for AI) 今天发布了新的大语言模型,他们声称这些模型在各自类别中都属于最先进的水平。
Mistral 的新模型名为 Mistral Small 3。而艾伦人工智能研究所 (通常简称为 Ai2) 的新大语言模型则被命名为 Tülu 3 405B。这两个模型都采用开源许可证发布。
Mistral Small 3 包含 240 亿参数,比市场上最先进的大语言模型的参数量要少得多。这意味着在启用量化后,它小到足以在某些 MacBook 上运行。量化是一种配置大语言模型的方法,通过牺牲一些输出质量来换取更低的硬件资源使用。
在内部评估中,Mistral 将 Mistral Small 3 与 Meta Platforms Inc. 开发的开源大语言模型 Llama 3.3 70B Instruct 进行了对比,后者的参数量是前者的三倍多。结果显示 Mistral Small 3 在提供相当输出质量的同时,响应速度明显更快。在另一项测试中,这个新模型相比 OpenAI 的 GPT-4 mini 展现出更高的输出质量和更低的延迟。
开发者通常通过创建基础模型,然后使用多种训练方法来提升其输出质量来构建大语言模型。在开发 Mistral Small 3 时,公司只开发了基础模型,跳过了后续的优化过程。这使用户可以根据自己的项目需求对 Mistral Small 3 进行个性化微调。
该公司认为开发者可以将这个大语言模型应用于多种任务。据 Mistral 称,该模型适用于需要低延迟在外部应用程序中执行任务的 AI 自动化工具。公司表示,他们的多个客户正在机器人、金融服务和制造业等领域将 Mistral Small 3 应用于特定行业场景。
"Mistral Small 3 是一个预训练和指令型模型,专注于满足生成式 AI 任务中的'80%'需求——那些需要强大的语言能力和指令遵循能力,且要求极低延迟的任务,"Mistral 的研究人员在博客文章中写道。
Mistral Small 3 的发布同时,非营利 AI 机构 A2I 也发布了新的大语言模型。Tülu 3 405B 是 Meta 去年 6 月推出的开源模型 Llama 3.1 405B 的定制版本。在 Ai2 进行的测试中,Tülu 3 405B 在超过半打基准测试中的表现都优于原始 Llama 模型。
研究团队使用了他们在 11 月首次详细介绍的开发流程来创建这个大语言模型。该工作流程整合了多种大语言模型训练方法,包括 Ai2 自主研发的一种方法。
工作流程的第一步是专注于监督式微调。这是一种向大语言模型提供样本提示和相应答案的训练方法,有助于模型学习如何响应用户查询。接下来,Ai2 使用了另一种称为 DPO 的训练技术,使 Tülu 3 405B 的输出与一组用户偏好保持一致。
Ai2 还使用内部开发的名为 RLVR 的训练方法进一步提升了模型的能力。这是一种强化学习的变体,而强化学习是一种广泛使用的 AI 训练技术。Ai2 表示,RLVR 能够提升 AI 模型在解决数学问题等任务上的表现。
Tülu 3 405B 代表了"首次将完全开放的后训练方案应用于最大的开放权重模型",Ai2 的研究人员在博客文章中写道。"通过这次发布,我们展示了我们的后训练方案在 4050 亿参数规模上的可扩展性和有效性。"
好文章,需要你的鼓励
三星与AI搜索引擎Perplexity合作,将其应用引入智能电视。2025年三星电视用户可立即使用,2024和2023年款设备将通过系统更新获得支持。用户可通过打字或语音提问,Perplexity还为用户提供12个月免费Pro订阅。尽管面临版权争议,这一合作仍引发关注。
浙江大学团队提出动态专家搜索方法,让AI能根据不同问题灵活调整内部专家配置。该方法在数学、编程等任务上显著提升推理准确率,且不增加计算成本。研究发现不同类型问题偏爱不同专家配置,为AI推理优化开辟新路径。
苹果M5 MacBook Pro评测显示这是一次相对较小的升级。最大变化是M5芯片,CPU性能比M4提升约9%,多核性能比M4 MacBook Air快19%,GPU性能提升37%。功耗可能有所增加但电池续航保持24小时。评测者认为该产品不适合M4用户升级,但对使用older型号用户仍是强有力选择。
清华大学研究团队提出SIRI方法,通过"压缩-扩张"交替训练策略,成功解决了大型推理模型"话多且准确率低"的问题。实验显示,该方法在数学竞赛题上将模型准确率提升43.2%的同时,输出长度减少46.9%,真正实现了效率与性能的双重优化,为AI模型训练提供了新思路。