一家名为 Deep Cogito 的新公司近期揭开面纱,推出了一系列可以在"推理"和非推理模式之间切换的开放 AI 模型。
像 OpenAI 的 o1 这样的推理模型在数学和物理等领域展现出巨大潜力,这要归功于它们能够通过逐步解决复杂问题来进行自我验证的能力。然而,这种推理能力是有代价的:更高的计算成本和延迟。这就是为什么像 Anthropic 这样的实验室正在追求"混合"模型架构,将推理组件与标准的非推理元素相结合。混合模型可以快速回答简单问题,同时在处理更具挑战性的问题时投入更多时间思考。
Deep Cogito 的所有模型(称为 Cogito 1)都是混合模型。该公司声称,这些模型的性能优于同等规模的最佳开放模型,包括来自 Meta 和中国 AI 初创公司 DeepSeek 的模型。
该公司在博客文章中解释道:"每个模型都可以直接回答问题,或在回答前进行自我反思(类似推理模型)。所有这些都是由一个小团队在大约 75 天内开发完成的。"
Cogito 1 模型的参数规模从 30 亿到 700 亿不等,该公司表示,在未来几周和几个月内,将会推出参数规模达到 6710 亿的模型。参数数量大致对应于模型的问题解决能力,通常参数越多越好。
需要说明的是,Cogito 1 并非从零开始开发。Deep Cogito 是在 Meta 的开源 Llama 和阿里巴巴的 Qwen 模型基础上构建的。该公司表示,他们应用了新颖的训练方法来提升基础模型的性能,并实现可切换的推理能力。
根据 Cogito 的内部基准测试结果,最大的 Cogito 1 模型——启用推理功能的 Cogito 70B,在某些数学和语言评估中的表现优于 DeepSeek 的 R1 推理模型。在禁用推理功能的情况下,Cogito 70B 在通用 AI 测试 LiveBench 上的表现也超过了 Meta 最近发布的 Llama 4 Scout 模型。
所有 Cogito 1 模型都可以通过 Fireworks AI 和 Together AI 这两家云服务提供商的 API 下载或使用。
"目前,我们仍处于扩展曲线的早期阶段,仅使用了传统大语言模型后期/持续训练所需计算资源的一小部分,"Cogito 在其博客文章中写道。"展望未来,我们正在研究互补的后期训练方法来实现自我提升。"
根据加利福尼亚州的文件显示,总部位于旧金山的 Deep Cogito 成立于 2024 年 6 月。该公司的 LinkedIn 页面列出了两位联合创始人:Drishan Arora 和 Dhruv Malhotra。Malhotra 此前是 Google AI 实验室 DeepMind 的产品经理,负责生成式搜索技术。Arora 曾是 Google 的高级软件工程师。
根据 PitchBook 的信息,Deep Cogito 的投资方包括 South Park Commons,该公司雄心勃勃地致力于构建"通用超级智能"。公司创始人将这个术语理解为能够比大多数人更好地完成任务,并"发现我们尚未想象到的全新能力"的 AI。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。