阿里巴巴集团旗下的云计算部门阿里云在农历新年之际发布了其最新突破性的人工智能大语言模型:Qwen 2.5-Max,声称其性能超越了当今最强大的 AI 模型。
在过去两周内,这是继 DeepSeek 的 R1 推理模型之后中国发布的第二个重要大语言模型。中国 AI 研究初创公司 DeepSeek 此前声称,R1 模型能够与美国公司开发的最强大模型相媲美,且训练成本仅为后者的一小部分,这一说法引起了广泛关注。
阿里云在博客文章中表示:"我们开发的 Qwen 2.5-Max 是一个大规模混合专家 LLM 模型,该模型已经在超过 20 万亿个 token 上进行了预训练,并通过精选的监督微调和基于人类反馈的强化学习方法进行了后续训练。"
混合专家模型 (MoE) 是一种大语言模型架构,它使用多个专门模型协同工作,根据特定的专业领域更高效地处理复杂任务。这就像一个 AI 模型团队,每个模型都在特定知识子类别中表现出色,它们共同合作,结合各自的训练来回答问题和完成任务。
据阿里巴巴称,使用这种技术的新 Qwen 模型在关键基准测试中超越了 DeepSeek-V3(该初创公司在去年 12 月底发布的最新非推理模型),包括 ArenaHard、LiveBench 和 MMLU-Pro。公司还声称其性能超过了 Anthropic 的 Claude 3.5 Sonnet、OpenAI 的 GPT-4 和 Meta 的 Llama 3.1-401B。
该架构还使公司能够以更小的资源消耗构建模型,仅需要 20 万亿个 token 进行训练。这使得模型部署时能够使用更少的资源,并以更高的效率运行。
阿里云表示:"数据和模型规模的扩展不仅展示了模型智能的进步,也反映了我们在开创性研究方面的坚定承诺。我们致力于通过创新应用规模化强化学习来增强大语言模型的思维和推理能力。"
与其他开源的 Qwen 模型不同,Qwen 2.5-Max 目前仍是闭源的。阿里巴巴通过阿里云提供了与 OpenAI API 兼容的应用程序接口,方便开发者集成。用户还可以通过类似 ChatGPT 的聊天机器人界面 Qwen Chat 访问该模型。
阿里巴巴最近在去年 8 月还发布了新的视觉语言模型 Qwen2-VL。该模型具有先进的视频理解能力,可以处理长达 20 分钟的高质量视频并回答相关内容的问题。
好文章,需要你的鼓励
卢森堡大学研究团队开发的RLDP框架首次将强化学习应用于差分隐私优化,创造性地解决了AI训练中隐私保护与模型效果的矛盾。该方法如同智能教练,能动态调整隐私保护策略,在四种语言模型上实现平均5.6%的性能提升和71%的训练时间缩短,同时增强了抗隐私攻击能力,为敏感数据的AI应用开辟了新路径。
这项由北京大学人工智能研究院完成的研究,首次从数据压缩理论角度揭示了大型语言模型存在"弹性"现象——即使经过精心安全对齐,模型仍倾向于保持预训练时的行为分布。
腾讯混元团队联合北京大学提出MixGRPO技术,通过混合ODE-SDE采样策略和滑动窗口机制,将AI图像生成训练效率提升50%-71%,同时在多项人类偏好评估指标上超越现有方法。该技术采用"从难到易"的渐进优化策略,专注于图像生成早期阶段的重点优化,并引入高阶求解器进一步加速训练过程,为AI图像生成的产业化应用提供了更高效可行的解决方案。