看起来本周是小型 AI 模型的风头时刻。
周四,非营利 AI 研究机构 Ai2 发布了 Olmo 2 1B,这是一款拥有 10 亿参数的模型。Ai2 声称,在多个基准测试中,Olmo 2 1B 的表现超越了 Google、Meta 和阿里巴巴等公司推出的同等规模模型。参数(有时称为权重)是模型内部用于指导其行为的组成部分。
Olmo 2 1B 采用宽松的 Apache 2.0 许可证通过 AI 开发平台 Hugging Face 发布。与大多数模型不同,Olmo 2 1B 可以从零开始复现;Ai2 已经提供了用于开发该模型的代码和数据集 ( Olmo-mix-1124 , Dolmino-mix-1124 )。
虽然小型模型在能力上可能不及那些巨型模型,但重要的是,它们不需要高性能硬件运行。这使得开发人员和爱好者在面对较低端以及消费级设备的限制时,更容易使用它们。
在过去几天中,陆续发布了许多小型模型,包括 Microsoft 的 Phi 4 推理系列和 Qwen 的 2.5 Omni 3B。这些模型中的大多数——以及 Olmo 2 1B——都可以轻松在现代笔记本甚至移动设备上运行。
Ai2 表示,Olmo 2 1B 使用了由公开可用、AI 生成及人工创建的资料构成的 4 万亿 Token 数据集进行训练。Token 是模型接收并生成的原始数据单位—— 100 万个 Token 大约相当于 75 万个单词。
在衡量算术推理能力的基准测试 GSM8K 上,Olmo 2 1B 的得分优于 Google 的 Gemma 3 1B、Meta 的 Llama 3.2 1B 以及阿里巴巴的 Qwen 2.5 1.5B。在 TruthfulQA (一项评估事实准确性的测试)上,Olmo 2 1B 的表现同样超越了这三款模型。
不过,Ai2 警告称 Olmo 2 1B 也存在一定风险。该组织表示,像所有 AI 模型一样,它可能会产生“问题输出”,包括有害及“敏感”内容,以及事实不准确的陈述。因此,Ai2 建议不要在商业环境中部署 Olmo 2 1B。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。