总部位于上海的人工智能公司MiniMax发布了一款开源推理模型,在性能和成本方面对中国竞争对手DeepSeek以及美国的Anthropic、OpenAI和Google发起挑战。
MiniMax-M1于周一基于Apache软件许可证发布,因此是真正的开源模型,这与Meta的Llama系列(采用非开源的社区许可证)和DeepSeek(仅部分采用开源许可证)形成鲜明对比。
MiniMax在博客文章中自豪地表示:"在复杂的生产力导向场景中,M1的能力在开源模型中名列前茅,超越了国内闭源模型,接近领先的海外模型,同时提供业界最佳的成本效益。"
根据博客文章,M1在多个基准测试(AIME 2024、LiveCodeBench、SWE-bench Verified、Tau-bench和MRCR)上与OpenAI o3、Gemini 2.5 Pro、Claude 4 Opus、DeepSeek R1、DeepSeek R1-0528和Qwen3-235B展开竞争,在不同程度上领先或落后于其他模型。虽然供应商提供的基准测试结果需要谨慎对待,但源代码已在GitHub上公开,用户可以独立验证其性能。
MiniMax明确表示要取代DeepSeek成为行业颠覆者,特别强调其上下文窗口(能够处理的输入量)达到100万个token,与Google Gemini 2.5 Pro相当,是DeepSeek R1容量的八倍。
在输出方面,该模型可以处理8万个token,优于DeepSeek的6.4万token容量,但略逊于OpenAI o3的10万token输出能力。
得到阿里巴巴集团、腾讯和IDG资本支持的MiniMax声称,其Lightning Attention机制通过改善注意力矩阵计算方式,提高了训练和推理效率,使M1模型在处理长上下文输入和推理时具有优势。
该公司声称:"例如,在执行8万token的深度推理时,它只需要DeepSeek R1约30%的计算能力。这一特性使我们在训练和推理方面都具有显著的计算效率优势。"
这种更高效的计算方法,结合名为CISPO的改进强化学习算法(详见M1技术报告),转化为更低的计算成本。
MiniMax声称:"整个强化学习阶段仅使用512块英伟达H800芯片运行三周,租赁成本仅为53.74万美元。这比最初预期少了一个数量级。"
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。