根据周三发布的新闻稿,OpenAI 联合创始人兼前首席科学家 Ilya Sutskever 的新 AI 创业公司 Safe Superintelligence (SSI) 正在使用 Google Cloud 的 TPU 芯片为其 AI 研究提供算力支持,这是两家公司最新宣布的合作伙伴关系的一部分。
Google Cloud 表示,SSI 正在使用 TPU 来"加速其研发工作,以构建安全的超级智能 AI"。
云服务提供商正在争夺少数几家每年在计算能力上花费数亿美元用于训练 AI 基础模型的独角兽 AI 创业公司。SSI 与 Google Cloud 的协议表明,前者将在 Google Cloud 上投入大量计算预算。据知情人士向 TechCrunch 透露,Google Cloud 是 SSI 的主要计算服务提供商。
Google Cloud 一直有与其前 AI 研究人员达成计算服务协议的传统,这些研究人员中的许多人现在都在经营价值数十亿美元的 AI 创业公司(Sutskever 曾在 Google 工作)。去年 10 月,Google Cloud 宣布将成为由前 Google Cloud AI 首席科学家李飞飞创立的 World Labs 的主要计算服务提供商。
目前尚不清楚 SSI 是否与其他云服务或计算服务提供商建立了合作关系。Google Cloud 发言人拒绝发表评论。Safe Superintelligence 的发言人没有立即回应置评请求。
SSI 于 2024 年 6 月结束秘密运营,这是在 Sutskever 离开 OpenAI 首席科学家职位数月后。该公司获得了来自 Andreessen Horowitz、Sequoia Capital、DST Global、SV Angel 等机构共计 10 亿美元的投资支持。
自 SSI 成立以来,我们对这家创业公司的活动了解相对较少。在其网站上,SSI 表示,开发安全的超级智能 AI 系统是"我们的使命、我们的名字,也是我们整个产品路线图,因为这是我们唯一的关注点"。Sutskever 此前表示,他已经找到了"一座新的需要攀登的山峰",正在研究提升前沿 AI 模型性能的新方法。
在联合创立 OpenAI 之前,Sutskever 在 Google Brain 度过了数年时间研究神经网络。在领导 OpenAI 的 AI 安全工作多年后,Sutskever 在 2023 年 11 月参与了罢免 OpenAI CEO Sam Altman 的关键决策。随后,Sutskever 加入了要求恢复 Altman CEO 职位的员工运动。
在这场风波之后,据报道 Sutskever 数月未在 OpenAI 办公室露面,最终离开该公司创立了 SSI。
好文章,需要你的鼓励
来自香港科技大学和MiniMax的研究团队开发了SynLogic,一个可合成35种逻辑推理任务的框架与数据集,填补了AI逻辑训练资源缺口。研究表明,在SynLogic上进行强化学习训练显著提升了模型逻辑推理能力,32B模型在BBEH测试中超越了DeepSeek-R1-Distill模型6个百分点。更值得注意的是,将SynLogic与数学和编程数据混合训练不仅提高了这些领域的学习效率,还增强了模型的泛化能力,表明逻辑推理是构建通用AI推理能力的重要基础。
这项研究揭示了大型语言模型的惊人能力:只需两个特殊训练的向量,冻结的语言模型就能在一次计算中生成数百个准确词汇,而非传统的逐词生成。研究者发现,这种能力要求特定的输入排列方式,且生成速度比自回归方法快约279倍。这一发现不仅展示了语言模型未被充分探索的并行生成潜力,还为快速文本重建开辟了新方向。
腾讯混元团队提出的"ConciseR"是一种通过两阶段强化学习实现大模型简洁推理的新方法。研究遵循"先走后跑"原则,先确保模型具备准确推理能力,再优化输出简洁性。第一阶段通过改进的群体相对策略优化(GRPO++)提升推理能力,第二阶段通过长度感知的群体相对策略优化(L-GRPO)减少输出长度。实验结果显示,该方法在AIME、MATH-500等多个基准测试中既减少了输出长度(平均20%以上),又保持或提高了准确率,展现出高效率-高准确率的理想平衡。
这项由香港科技大学团队开展的研究首次全面评估了压缩对大语言模型Agent能力的影响。研究发现,虽然4位量化能较好地保留工作流生成和工具使用能力(仅下降1%-3%),但在实际应用中性能下降达10%-15%。团队提出的ACBench基准测试横跨工具使用、工作流生成、长文本理解和实际应用四大能力,评估了不同压缩方法对15种模型的影响。结果显示,AWQ量化效果最佳,蒸馏模型在Agent任务上表现不佳,大型模型对压缩更具韧性。研究还提出ERank等创新分析方法,为实际部署提供了切实指导。