位于旧金山的AI研究初创公司Deep Cogito由前谷歌员工创立,近日发布了四款新的开源大语言模型,这些模型在一个关键方面与众不同:它们能够学会如何更有效地推理,并且能够自主改进。
这四款模型属于Cogito v2系列,参数规模从700亿到6710亿不等,面向AI开发者和企业用户开放使用。具体包括:
- Cogito v2-70B(密集型)
- Cogito v2-109B(专家混合型)
- Cogito v2-405B(密集型)
- Cogito v2-671B(专家混合型)
密集型模型在每次前向传播中激活所有参数,更适合低延迟应用和GPU容量有限的环境。专家混合型(MoE)模型采用稀疏路由机制,每次只激活少数专业化的"专家"子网络,在不成比例增加计算成本的情况下实现更大的模型规模。
所有四款Cogito v2模型都设计为混合推理系统:它们既可以立即响应查询,也可以在需要时进行内部反思后再回答。关键在于,这种反思不仅仅是运行时行为,而是融合到训练过程本身中。
这些模型被训练来内化自己的推理过程。这意味着它们得出答案的路径——可以说是思维步骤——被提炼回模型的权重中。随着时间推移,它们学会识别哪些思路真正重要,哪些不重要。
Deep Cogito的CEO兼联合创始人Drishan Arora此前是谷歌的首席大语言模型工程师,他将公司的长期目标描述为构建能够推理并在每次迭代中改进的模型,类似于AlphaGo通过自我对弈完善策略的方式。
在推理任务中,旗舰版671B MoE模型超越了DeepSeek R1,在使用60%更短推理链的情况下达到或超过其最新0528模型的性能。在MMLU、GSM8K和MGSM等基准测试中,Cogito 671B MoE的表现与Qwen1.5-72B和DeepSeek v3等顶级开源模型相当,接近Claude 4 Opus和o3等闭源模型的性能水平。
尽管模型规模庞大,Deep Cogito声称其训练所有八个Cogito模型(包括较小的v1检查点)的总成本不到350万美元,相比之下,据报道OpenAI一些领先模型的成本超过1亿美元。
这些模型现已在Hugging Face上提供下载,企业用户可通过Together AI、Baseten和RunPod的API接口使用。对于开发者、研究人员和企业团队来说,这些模型提供了一种不同的构建智能的方法:不是更努力地思考,而是学习如何更好地思考。
Q&A
Q1:Deep Cogito的混合推理模型有什么特别之处?
A:Deep Cogito的模型具备自我改进的"直觉"能力,它们将推理过程融合到训练中,能够学会哪些思路重要哪些不重要,从而实现更快、更高效的推理,即使在标准模式下也能提升性能。
Q2:Cogito v2模型的性能表现如何?
A:旗舰版671B MoE模型在推理任务中超越DeepSeek R1,使用60%更短的推理链达到相同性能。在MMLU、GSM8K等基准测试中表现与顶级开源模型相当,接近闭源模型性能水平。
Q3:如何使用这些Cogito v2模型?
A:开发者可以在Hugging Face上下载这些模型,通过Unsloth进行本地使用,或者通过Together AI、Baseten和RunPod的API接口使用。模型支持立即响应和内部反思两种模式。
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。