阿里巴巴集团旗下的云计算部门阿里云在农历新年之际发布了其最新突破性的人工智能大语言模型:Qwen 2.5-Max,声称其性能超越了当今最强大的 AI 模型。
在过去两周内,这是继 DeepSeek 的 R1 推理模型之后中国发布的第二个重要大语言模型。中国 AI 研究初创公司 DeepSeek 此前声称,R1 模型能够与美国公司开发的最强大模型相媲美,且训练成本仅为后者的一小部分,这一说法引起了广泛关注。
阿里云在博客文章中表示:"我们开发的 Qwen 2.5-Max 是一个大规模混合专家 LLM 模型,该模型已经在超过 20 万亿个 token 上进行了预训练,并通过精选的监督微调和基于人类反馈的强化学习方法进行了后续训练。"
混合专家模型 (MoE) 是一种大语言模型架构,它使用多个专门模型协同工作,根据特定的专业领域更高效地处理复杂任务。这就像一个 AI 模型团队,每个模型都在特定知识子类别中表现出色,它们共同合作,结合各自的训练来回答问题和完成任务。
据阿里巴巴称,使用这种技术的新 Qwen 模型在关键基准测试中超越了 DeepSeek-V3(该初创公司在去年 12 月底发布的最新非推理模型),包括 ArenaHard、LiveBench 和 MMLU-Pro。公司还声称其性能超过了 Anthropic 的 Claude 3.5 Sonnet、OpenAI 的 GPT-4 和 Meta 的 Llama 3.1-401B。
该架构还使公司能够以更小的资源消耗构建模型,仅需要 20 万亿个 token 进行训练。这使得模型部署时能够使用更少的资源,并以更高的效率运行。
阿里云表示:"数据和模型规模的扩展不仅展示了模型智能的进步,也反映了我们在开创性研究方面的坚定承诺。我们致力于通过创新应用规模化强化学习来增强大语言模型的思维和推理能力。"
与其他开源的 Qwen 模型不同,Qwen 2.5-Max 目前仍是闭源的。阿里巴巴通过阿里云提供了与 OpenAI API 兼容的应用程序接口,方便开发者集成。用户还可以通过类似 ChatGPT 的聊天机器人界面 Qwen Chat 访问该模型。
阿里巴巴最近在去年 8 月还发布了新的视觉语言模型 Qwen2-VL。该模型具有先进的视频理解能力,可以处理长达 20 分钟的高质量视频并回答相关内容的问题。
好文章,需要你的鼓励
UniR(Universal Reasoner)是一种创新的推理增强方法,可为冻结的大语言模型提供即插即用的推理能力。由韩国科学技术院研究团队开发,该方法将推理能力分解为独立的轻量级模块,无需改变主模型结构。UniR的核心优势在于高效训练(仅更新小型推理模块)、出色的模型间迁移能力(小模型可指导大模型)以及模块组合能力(多个专用模块可通过logits相加组合使用)。在数学推理和翻译测试中,UniR显著超越现有微调方法,展示了轻量级模块如何有效增强大语言模型的推理能力。
Nebius团队开发了SWE-rebench,一个自动化管道用于从GitHub收集软件工程任务并进行去污染评估。该系统解决了两大挑战:高质量训练数据稀缺和评估基准容易被污染。通过四阶段处理(初步收集、自动安装配置、执行验证和质量评估),SWE-rebench构建了包含超过21,000个Python交互式任务的数据集,并提供持续更新的评估基准。研究发现部分语言模型在传统基准上的表现可能被污染效应夸大,而DeepSeek模型在开源模型中表现最为稳健。
这项研究提出了JQL(发音为"Jackal"),一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题:先由人类评估内容教育价值创建基准数据,然后评估大型语言模型作为"评判者"的能力,接着将这些能力提炼到轻量级评估器中,最后应用于大规模数据筛选。实验表明,JQL在35种语言上显著优于现有方法,甚至能泛化到未见过的语言如阿拉伯语和中文,为多语言AI发展提供了高效可靠的数据筛选方案。
浙江大学和西湖大学研究团队开发的Styl3R实现了艺术风格化3D重建的重大突破,能在不到一秒内从少量未标定照片和任意风格图像创建具有多视角一致性的3D艺术场景。通过创新的双分支网络架构将结构建模与外观着色分离,系统不仅保持了原始场景结构,还准确捕捉了参考风格特征。与现有方法相比,Styl3R在处理速度和视觉质量上均显著领先,为创意内容制作开辟了全新可能。