中国科技巨头腾讯控股有限公司今日发布了一款名为混元 Turbo S 的新人工智能模型,这是一款被设计为"快思考模型"的产品,旨在与 DeepSeek-R1 等所谓的"慢思考"模型展开竞争。
该公司解释说,通过将输出速度提高一倍并将首字输出延迟减少近 44%,该模型能够在一秒内实现"即时回复"。
与 DeepSeek-R1 和其他"推理模型"不同,该公司表示这些模型往往是"思考一下再回答",而新的 Turbo S 模型能够立即开始回答,它使用一个类似于人类直觉的短思考链。这种机制与提供科学、数学和理性答案的慢思考链相融合。
公司表示,在数学、推理和知识等基准测试中,混元 Turbo S 展现出与市场领先模型(如 DeepSeek-V3、OpenAI 的 GPT-4 和 Anthropic PBC 的 Claude)相当的性能。
近几个月来,中国企业 DeepSeek 的 AI 模型(如 R1 和 V3)取得的显著成功引发了广泛关注,促使众多 AI 模型开发商迅速推出竞争产品。竞争异常激烈,包括中国的阿里巴巴集团推出的 Qwen 2.5-Max 模型,声称性能超过 V3。
为了创建这个模型,腾讯使用了 Hybrid-Mamba-Transformer 融合技术,以降低模型 Transformer 架构的计算复杂度和 KV-Cache。最终的模型是一个混合体,可以使用擅长处理长序列的 Mamba 深度学习架构,同时保持 Transformer 理解数据中复杂思想和陈述背景的能力。
腾讯在公告中表示:"这也是业界首次成功将 Mamba 架构应用于超大规模混合专家模型而不造成性能损失。"
混合专家技术是一种机器学习方法,其中多个 AI 模型根据不同的专业领域被分开,并协同工作以解决问题。
该公司还表示,新架构显著降低了训练和部署成本。随着 DeepSeek 等竞争对手以低价推出具有竞争力的模型,这促使腾讯和其他公司降低服务价格,并研究更高效的 AI 训练和推理方法。
好文章,需要你的鼓励
Roig Arena 将于 2025 年 9 月在瓦伦西亚开业,借助 Extreme Networks 的 6GHz Wi-Fi 与数据分析技术,实现无缝运营与个性化观众体验,打造全天候活动中心。
这项研究首次系统研究了大语言模型在表达不确定性时的"忠实度"问题,发现它们往往在不确定时仍使用肯定语言,导致用户过度信任。研究团队提出了MetaFaith方法,通过激发模型的"元认知"能力,使其能更诚实地表达不确定性。在14种模型和10个数据集的测试中,MetaFaith将忠实度提升了高达61%,且83%的情况下被人类评为更可靠。这一突破对构建更值得信任的AI系统具有重要意义。
OpenMamba 是一款意大利独立滚动更新的 Linux 发行版,基于 Fedora 工具构建,提供 KDE Plasma 与 LXQt 桌面。它采用最新组件和标准打包工具,运行稳定且易用,适合规避主流系统限制的用户。
这项研究提出了强化蒸馏(REDI)框架,创新性地利用大型语言模型生成的正确和错误推理过程进行训练。传统方法仅使用正确样本,浪费了包含宝贵信息的错误样本。REDI采用两阶段方法:先用正确样本建立基础,再通过非对称加权的目标函数利用错误样本进一步优化。实验表明,仅用131k个公开数据样本训练的Qwen-REDI-1.5B模型在MATH-500等基准上达到83.1%准确率,与使用800k专有数据训练的同类模型相当或更优,为小型模型离线学习复杂推理能力提供了高效途径。