看起来本周是小型 AI 模型的风头时刻。
周四,非营利 AI 研究机构 Ai2 发布了 Olmo 2 1B,这是一款拥有 10 亿参数的模型。Ai2 声称,在多个基准测试中,Olmo 2 1B 的表现超越了 Google、Meta 和阿里巴巴等公司推出的同等规模模型。参数(有时称为权重)是模型内部用于指导其行为的组成部分。
Olmo 2 1B 采用宽松的 Apache 2.0 许可证通过 AI 开发平台 Hugging Face 发布。与大多数模型不同,Olmo 2 1B 可以从零开始复现;Ai2 已经提供了用于开发该模型的代码和数据集 ( Olmo-mix-1124 , Dolmino-mix-1124 )。
虽然小型模型在能力上可能不及那些巨型模型,但重要的是,它们不需要高性能硬件运行。这使得开发人员和爱好者在面对较低端以及消费级设备的限制时,更容易使用它们。
在过去几天中,陆续发布了许多小型模型,包括 Microsoft 的 Phi 4 推理系列和 Qwen 的 2.5 Omni 3B。这些模型中的大多数——以及 Olmo 2 1B——都可以轻松在现代笔记本甚至移动设备上运行。
Ai2 表示,Olmo 2 1B 使用了由公开可用、AI 生成及人工创建的资料构成的 4 万亿 Token 数据集进行训练。Token 是模型接收并生成的原始数据单位—— 100 万个 Token 大约相当于 75 万个单词。
在衡量算术推理能力的基准测试 GSM8K 上,Olmo 2 1B 的得分优于 Google 的 Gemma 3 1B、Meta 的 Llama 3.2 1B 以及阿里巴巴的 Qwen 2.5 1.5B。在 TruthfulQA (一项评估事实准确性的测试)上,Olmo 2 1B 的表现同样超越了这三款模型。
不过,Ai2 警告称 Olmo 2 1B 也存在一定风险。该组织表示,像所有 AI 模型一样,它可能会产生“问题输出”,包括有害及“敏感”内容,以及事实不准确的陈述。因此,Ai2 建议不要在商业环境中部署 Olmo 2 1B。
好文章,需要你的鼓励
麻省理工学院研究团队发现大语言模型"幻觉"现象的新根源:注意力机制存在固有缺陷。研究通过理论分析和实验证明,即使在理想条件下,注意力机制在处理多步推理任务时也会出现系统性错误。这一发现挑战了仅通过扩大模型规模就能解决所有问题的观点,为未来AI架构发展指明新方向,提醒用户在复杂推理任务中谨慎使用AI工具。
继苹果和其他厂商之后,Google正在加大力度推广其在智能手机上的人工智能功能。该公司试图通过展示AI在移动设备上的实用性和创新性来吸引消费者关注,希望说服用户相信手机AI功能的价值。Google面临的挑战是如何让消费者真正体验到AI带来的便利,并将这些技术优势转化为市场竞争力。
中科院自动化所等机构联合发布MM-RLHF研究,构建了史上最大的多模态AI对齐数据集,包含12万个精细人工标注样本。研究提出批评式奖励模型和动态奖励缩放算法,显著提升多模态AI的安全性和对话能力,为构建真正符合人类价值观的AI系统提供了突破性解决方案。