一家名为 Deep Cogito 的新公司近期揭开面纱,推出了一系列可以在"推理"和非推理模式之间切换的开放 AI 模型。
像 OpenAI 的 o1 这样的推理模型在数学和物理等领域展现出巨大潜力,这要归功于它们能够通过逐步解决复杂问题来进行自我验证的能力。然而,这种推理能力是有代价的:更高的计算成本和延迟。这就是为什么像 Anthropic 这样的实验室正在追求"混合"模型架构,将推理组件与标准的非推理元素相结合。混合模型可以快速回答简单问题,同时在处理更具挑战性的问题时投入更多时间思考。
Deep Cogito 的所有模型(称为 Cogito 1)都是混合模型。该公司声称,这些模型的性能优于同等规模的最佳开放模型,包括来自 Meta 和中国 AI 初创公司 DeepSeek 的模型。
该公司在博客文章中解释道:"每个模型都可以直接回答问题,或在回答前进行自我反思(类似推理模型)。所有这些都是由一个小团队在大约 75 天内开发完成的。"
Cogito 1 模型的参数规模从 30 亿到 700 亿不等,该公司表示,在未来几周和几个月内,将会推出参数规模达到 6710 亿的模型。参数数量大致对应于模型的问题解决能力,通常参数越多越好。
需要说明的是,Cogito 1 并非从零开始开发。Deep Cogito 是在 Meta 的开源 Llama 和阿里巴巴的 Qwen 模型基础上构建的。该公司表示,他们应用了新颖的训练方法来提升基础模型的性能,并实现可切换的推理能力。
根据 Cogito 的内部基准测试结果,最大的 Cogito 1 模型——启用推理功能的 Cogito 70B,在某些数学和语言评估中的表现优于 DeepSeek 的 R1 推理模型。在禁用推理功能的情况下,Cogito 70B 在通用 AI 测试 LiveBench 上的表现也超过了 Meta 最近发布的 Llama 4 Scout 模型。
所有 Cogito 1 模型都可以通过 Fireworks AI 和 Together AI 这两家云服务提供商的 API 下载或使用。
"目前,我们仍处于扩展曲线的早期阶段,仅使用了传统大语言模型后期/持续训练所需计算资源的一小部分,"Cogito 在其博客文章中写道。"展望未来,我们正在研究互补的后期训练方法来实现自我提升。"
根据加利福尼亚州的文件显示,总部位于旧金山的 Deep Cogito 成立于 2024 年 6 月。该公司的 LinkedIn 页面列出了两位联合创始人:Drishan Arora 和 Dhruv Malhotra。Malhotra 此前是 Google AI 实验室 DeepMind 的产品经理,负责生成式搜索技术。Arora 曾是 Google 的高级软件工程师。
根据 PitchBook 的信息,Deep Cogito 的投资方包括 South Park Commons,该公司雄心勃勃地致力于构建"通用超级智能"。公司创始人将这个术语理解为能够比大多数人更好地完成任务,并"发现我们尚未想象到的全新能力"的 AI。
好文章,需要你的鼓励
北京交通大学与西蒙弗雷泽大学联合研发的混合神经-MPM方法实现了实时交互式流体模拟。该方法巧妙结合神经物理学与传统数值求解器,在低时空分辨率下运行神经网络并设置保障机制自动切换到MPM,显著降低计算延迟同时保持高保真度。团队还设计了基于扩散模型的控制器,支持用户通过简单草图直观控制流体行为,为游戏、VR和设计领域提供了实用解决方案。
这项研究介绍了EgoZero,一种创新的机器人学习系统,能够仅通过Project Aria智能眼镜捕获的人类示范数据,训练出零样本迁移的机器人操作策略。研究团队提出了一种形态无关的状态-动作表示方法,使用点集来统一人类和机器人数据,并开发了从原始视觉输入中提取准确3D表示的技术。在没有任何机器人训练数据的情况下,EgoZero在7种真实世界操作任务上实现了70%的成功率,展示了强大的泛化能力,为解决机器人学习中的数据瓶颈问题提供了新思路。
FLAME-MoE是卡内基梅隆大学团队开发的首个全透明混合专家语言模型研究平台,包含7个规模从3800万到17亿活跃参数的模型。它采用每层64位专家、top-8选择和2位共享专家的架构,公开所有训练数据、代码和检查点。实验显示,FLAME-MoE比相同计算量的密集模型提升3.4个百分点,并揭示了三个关键发现:专家逐渐专注于特定词汇子集,专家协同激活保持稀疏多样,路由行为在训练早期就趋于稳定。这一平台为MoE模型的系统研究提供了前所未有的开放基础。
这篇论文介绍了ModernGBERT,一个由维尔茨堡大学研究团队开发的高性能德语编码器模型家族(1.34亿和10亿参数版本)。研究将ModernBERT的创新架构应用于德语,同时通过LLM2Vec方法将德语解码器模型转换为编码器以进行对比研究。在SuperGLEBer和MTEB等基准测试中,ModernGBERT 10亿参数模型不仅超越了之前最先进的德语编码器,还在性能和参数效率方面优于转换后的编码器。研究团队还证明了更大模型能有效利用大规模单语语料库,为德语自然语言处理提供了全透明、高性能的资源。