Mistral AI 和艾伦人工智能研究所 (Allen Institute for AI) 今天发布了新的大语言模型,他们声称这些模型在各自类别中都属于最先进的水平。
Mistral 的新模型名为 Mistral Small 3。而艾伦人工智能研究所 (通常简称为 Ai2) 的新大语言模型则被命名为 Tülu 3 405B。这两个模型都采用开源许可证发布。
Mistral Small 3 包含 240 亿参数,比市场上最先进的大语言模型的参数量要少得多。这意味着在启用量化后,它小到足以在某些 MacBook 上运行。量化是一种配置大语言模型的方法,通过牺牲一些输出质量来换取更低的硬件资源使用。
在内部评估中,Mistral 将 Mistral Small 3 与 Meta Platforms Inc. 开发的开源大语言模型 Llama 3.3 70B Instruct 进行了对比,后者的参数量是前者的三倍多。结果显示 Mistral Small 3 在提供相当输出质量的同时,响应速度明显更快。在另一项测试中,这个新模型相比 OpenAI 的 GPT-4 mini 展现出更高的输出质量和更低的延迟。
开发者通常通过创建基础模型,然后使用多种训练方法来提升其输出质量来构建大语言模型。在开发 Mistral Small 3 时,公司只开发了基础模型,跳过了后续的优化过程。这使用户可以根据自己的项目需求对 Mistral Small 3 进行个性化微调。
该公司认为开发者可以将这个大语言模型应用于多种任务。据 Mistral 称,该模型适用于需要低延迟在外部应用程序中执行任务的 AI 自动化工具。公司表示,他们的多个客户正在机器人、金融服务和制造业等领域将 Mistral Small 3 应用于特定行业场景。
"Mistral Small 3 是一个预训练和指令型模型,专注于满足生成式 AI 任务中的'80%'需求——那些需要强大的语言能力和指令遵循能力,且要求极低延迟的任务,"Mistral 的研究人员在博客文章中写道。
Mistral Small 3 的发布同时,非营利 AI 机构 A2I 也发布了新的大语言模型。Tülu 3 405B 是 Meta 去年 6 月推出的开源模型 Llama 3.1 405B 的定制版本。在 Ai2 进行的测试中,Tülu 3 405B 在超过半打基准测试中的表现都优于原始 Llama 模型。
研究团队使用了他们在 11 月首次详细介绍的开发流程来创建这个大语言模型。该工作流程整合了多种大语言模型训练方法,包括 Ai2 自主研发的一种方法。
工作流程的第一步是专注于监督式微调。这是一种向大语言模型提供样本提示和相应答案的训练方法,有助于模型学习如何响应用户查询。接下来,Ai2 使用了另一种称为 DPO 的训练技术,使 Tülu 3 405B 的输出与一组用户偏好保持一致。
Ai2 还使用内部开发的名为 RLVR 的训练方法进一步提升了模型的能力。这是一种强化学习的变体,而强化学习是一种广泛使用的 AI 训练技术。Ai2 表示,RLVR 能够提升 AI 模型在解决数学问题等任务上的表现。
Tülu 3 405B 代表了"首次将完全开放的后训练方案应用于最大的开放权重模型",Ai2 的研究人员在博客文章中写道。"通过这次发布,我们展示了我们的后训练方案在 4050 亿参数规模上的可扩展性和有效性。"
好文章,需要你的鼓励
亚马逊在新加坡中央商务区开设了一个占地36万平方英尺的亚太旗舰中心。这标志着亚马逊成立30周年和亚马逊云服务(AWS)在新加坡运营15周年。新中心将容纳亚马逊和AWS员工,设有促进员工福祉、协作和客户互动的设施,展示了亚马逊对新加坡经济的巨大投资和对数字技能发展的贡献。
Adobe 推出新的 AI 视频生成功能,可将静态图像转换为视频并延长现有视频片段。该功能包括从文本提示生成短视频、将静态图像转为视频剪辑,以及在 Premiere Pro 中延长视频长度。Adobe 声称生成的视频内容"知识产权友好",创作者可安全使用。这项技术主要用于填充视频空白、生成背景画面和特效等。
Forrester 预测 2025 年欧洲企业 IT 支出将增长 5%,达 4.9 万亿美元。人工智能、网络安全和云基础设施成为主要增长动力。美国和亚太地区的 IT 投资占 GDP 比重更高,软件和 IT 服务将占全球技术支出的 66%。未来五年,技术投资将以前所未有的速度重塑各行各业。
随着人类探索太空的脚步不断推进,科学家们正在研发人工智能技术来帮助宇航员应对太空环境的挑战。从脑机接口到增强现实设备,这些创新技术旨在提升宇航员的认知能力和工作效率,为未来的月球和火星任务做好准备。同时,人工智能还可能在国际空间站等近期任务中发挥重要作用。