看起来本周是小型 AI 模型的风头时刻。
周四,非营利 AI 研究机构 Ai2 发布了 Olmo 2 1B,这是一款拥有 10 亿参数的模型。Ai2 声称,在多个基准测试中,Olmo 2 1B 的表现超越了 Google、Meta 和阿里巴巴等公司推出的同等规模模型。参数(有时称为权重)是模型内部用于指导其行为的组成部分。
Olmo 2 1B 采用宽松的 Apache 2.0 许可证通过 AI 开发平台 Hugging Face 发布。与大多数模型不同,Olmo 2 1B 可以从零开始复现;Ai2 已经提供了用于开发该模型的代码和数据集 ( Olmo-mix-1124 , Dolmino-mix-1124 )。
虽然小型模型在能力上可能不及那些巨型模型,但重要的是,它们不需要高性能硬件运行。这使得开发人员和爱好者在面对较低端以及消费级设备的限制时,更容易使用它们。
在过去几天中,陆续发布了许多小型模型,包括 Microsoft 的 Phi 4 推理系列和 Qwen 的 2.5 Omni 3B。这些模型中的大多数——以及 Olmo 2 1B——都可以轻松在现代笔记本甚至移动设备上运行。
Ai2 表示,Olmo 2 1B 使用了由公开可用、AI 生成及人工创建的资料构成的 4 万亿 Token 数据集进行训练。Token 是模型接收并生成的原始数据单位—— 100 万个 Token 大约相当于 75 万个单词。
在衡量算术推理能力的基准测试 GSM8K 上,Olmo 2 1B 的得分优于 Google 的 Gemma 3 1B、Meta 的 Llama 3.2 1B 以及阿里巴巴的 Qwen 2.5 1.5B。在 TruthfulQA (一项评估事实准确性的测试)上,Olmo 2 1B 的表现同样超越了这三款模型。
不过,Ai2 警告称 Olmo 2 1B 也存在一定风险。该组织表示,像所有 AI 模型一样,它可能会产生“问题输出”,包括有害及“敏感”内容,以及事实不准确的陈述。因此,Ai2 建议不要在商业环境中部署 Olmo 2 1B。
好文章,需要你的鼓励
是德科技高级副总裁兼通信解决方案事业部总裁Kailash Narayanan现场指出,算力固然重要,但如果能耗过高,技术的实用性将大打折扣,因此,所有的高速、高性能计算,都必须在极低的功耗下实现,这是AI等技术能否大规模落地的核心前提。
DeepSeek-AI团队通过创新的软硬件协同设计,仅用2048张GPU训练出性能卓越的DeepSeek-V3大语言模型,挑战了AI训练需要海量资源的传统观念。该研究采用多头潜在注意力、专家混合架构、FP8低精度训练等技术,大幅提升内存效率和计算性能,为AI技术的民主化和可持续发展提供了新思路。
来自上海交通大学和浙江大学等机构的研究团队开发出首个AI"记忆操作系统"MemOS,解决了AI系统无法实现人类般持久记忆和学习的根本限制。该系统将记忆视为核心计算资源进行调度、共享和演化,在时间推理任务中相比OpenAI记忆系统性能提升159%。MemOS采用三层架构设计,通过标准化记忆单元实现跨平台记忆迁移,有望改变企业AI部署模式。
加拿大女王大学研究团队首次系统评估了大型视频语言模型的因果推理能力,发现即使最先进的AI在理解视频中事件因果关系方面表现极差,大多数模型准确率甚至低于随机猜测。研究创建了全球首个视频因果推理基准VCRBench,并提出了识别-推理分解法(RRD),通过任务分解显著提升了AI性能,最高改善幅度达25.2%。