DeepSeek 今天发布了一个新的大语言模型系列 - R1 系列,该系列专门针对推理任务进行了优化。
这家中国人工智能开发商已经在 Hugging Face 平台上开源了这些算法的源代码。
该大语言模型系列的主打产品是两个名为 R1 和 R1-Zero 的算法。据 DeepSeek 称,前者在多个推理基准测试中的表现优于 OpenAI 的 o1。而 R1-Zero 虽然能力相对较弱,但在机器学习研究领域可能代表着一个重要突破。
这两个大语言模型都采用了具有 6710 亿参数的混合专家 (MoE) 架构。MoE 模型由多个神经网络组成,每个网络都针对不同的任务集进行优化。当模型接收到输入提示时,一个称为路由器的机制会将查询发送到最适合处理它的神经网络。
MoE 架构的主要优势在于降低了推理成本。当用户向 MoE 模型输入提示时,查询不会激活整个 AI,而只会激活生成响应所需的特定神经网络。因此,R1 和 R1-Zero 在回答提示时激活的参数不到其 6710 亿参数的十分之一。
DeepSeek 在训练 R1-Zero 时采用了一种与研究人员通常使用的推理模型训练方法不同的方式。
推理优化的大语言模型通常使用强化学习和监督微调两种方法进行训练。前者通过试错来教会 AI 模型执行任务。而监督微调则通过提供任务执行示例来提升 AI 的输出质量。
在训练 R1-Zero 时,DeepSeek 跳过了监督微调阶段。尽管如此,该公司仍然成功地为模型配备了推理能力,比如将复杂任务分解为更简单子步骤的能力。
"这是首个通过纯强化学习验证大语言模型推理能力的开放研究,无需监督微调," DeepSeek 的研究人员详细说明。"这一突破为该领域的未来发展铺平了道路。"
尽管 R1-Zero 具有先进的功能集,但其输出质量有限。该模型的响应有时会出现"无休止的重复、可读性差和语言混杂"等问题,DeepSeek 的研究人员指出。该公司创建 R1 就是为了解决这些限制。
R1 是 R1-Zero 的增强版本,采用了修改后的训练工作流程开发。这个工作流程使用了 DeepSeek 在开发 R1-Zero 时省略的监督微调技术。该公司表示,这一改变显著提升了输出质量。
DeepSeek 使用近二十个基准测试将 R1 与四个流行的大语言模型进行了比较。据该公司称,其模型在多个基准测试中成功超越了 OpenAI 的推理优化模型 o1。在 o1 得分较高的大多数基准测试中,R1 的表现仅落后不到 5%。
R1 超越 o1 的基准测试之一是 LiveCodeBench。这是一个经常更新新练习题的编程任务集合。这降低了 AI 模型在公共网络上找到现成答案的可能性。
除了 R1 和 R1-Zero,DeepSeek 今天还开源了一系列能力较弱但硬件效率更高的模型。这些模型是从 R1 "蒸馏" 而来,这意味着在训练过程中,部分 LLM 的知识被转移到了这些模型中。
这些蒸馏模型的规模从 15 亿到 700 亿参数不等。它们基于 Llama 和 Qwen 开源大语言模型系列。DeepSeek 表示,其中一个蒸馏模型 R1-Distill-Qwen-32B 在多个基准测试中的表现优于 o1 的缩小版本 OpenAI-o1-mini。
好文章,需要你的鼓励
亚马逊在新加坡中央商务区开设了一个占地36万平方英尺的亚太旗舰中心。这标志着亚马逊成立30周年和亚马逊云服务(AWS)在新加坡运营15周年。新中心将容纳亚马逊和AWS员工,设有促进员工福祉、协作和客户互动的设施,展示了亚马逊对新加坡经济的巨大投资和对数字技能发展的贡献。
Adobe 推出新的 AI 视频生成功能,可将静态图像转换为视频并延长现有视频片段。该功能包括从文本提示生成短视频、将静态图像转为视频剪辑,以及在 Premiere Pro 中延长视频长度。Adobe 声称生成的视频内容"知识产权友好",创作者可安全使用。这项技术主要用于填充视频空白、生成背景画面和特效等。
Forrester 预测 2025 年欧洲企业 IT 支出将增长 5%,达 4.9 万亿美元。人工智能、网络安全和云基础设施成为主要增长动力。美国和亚太地区的 IT 投资占 GDP 比重更高,软件和 IT 服务将占全球技术支出的 66%。未来五年,技术投资将以前所未有的速度重塑各行各业。
随着人类探索太空的脚步不断推进,科学家们正在研发人工智能技术来帮助宇航员应对太空环境的挑战。从脑机接口到增强现实设备,这些创新技术旨在提升宇航员的认知能力和工作效率,为未来的月球和火星任务做好准备。同时,人工智能还可能在国际空间站等近期任务中发挥重要作用。