OpenAI 正在努力使其即将推出的开源 AI 模型成为行业内的最佳产品
在三月底,OpenAI 宣布计划在今年内发布自 GPT-2 以来的首个“开源”大语言模型。如今,关于该模型的细节正逐步从公司与 AI 开发者社区的交流中传出。
消息人士告诉 TechCrunch,OpenAI 研究副总裁 Aidan Clark 正在领导这一处于早期阶段的开源模型的开发。OpenAI 的目标是在初夏推出该模型,并力图使其——一种类似于 OpenAI o 系列模型的推理模型——在开源推理模型领域中取得标杆性成绩。
TechCrunch 的消息来源称,OpenAI 正在为该模型探索一种高度宽松的许可协议,几乎没有使用或商业限制。而类似 Llama 和 Google Gemma 这样的开源模型曾因提出繁琐的要求而受到社区部分人士的批评,这正是 OpenAI 显然想要避免的问题。
来自中国的 AI 实验室 DeepSeek 等竞争对手正逐步加大压力推动开源模式。与 OpenAI 的策略形成鲜明对比的是,这些“开源”竞争者允许 AI 社区对其模型进行实验,并在某些情况下进行商业化。
这一策略已被部分企业证明取得了巨大成功。Meta 在三月初表示,其在开源 AI 模型领域大力投资的 Llama 系列模型累计下载量已超过 10 亿次。而 DeepSeek 则迅速积累了庞大的全球用户群,并吸引了国内投资者的关注。
TechCrunch 消息人士透露,OpenAI 打算让其“开源”模型采用“文本输入,文本输出”模式运行在高端消费者硬件上,并可能允许开发者类似于近期 Anthropic 等公司推出的推理模型那样开关其“推理”功能。(推理功能可以提高准确性,但会增加延迟。)如果该模型推出后反响良好,OpenAI 可能会推出更多模型——甚至可能包括更小型的模型。
在此前的公开评论中,OpenAI 首席执行官 Sam Altman 曾表示,他认为在开源其技术方面,OpenAI 处于历史的错误一方。
Altman 在一月份 Reddit 问答中表示:“我个人认为我们需要找出一种不同的开源策略。”他补充道:“OpenAI 内部并非所有人都持这种观点,而且这也不是我们目前的最高优先级……我们将来会生产更好的模型,但我们的领先优势不会像过去几年那样明显。”
Altman 还表示,OpenAI 即将推出的开源模型将经过彻底的红队测试和安全评估。消息人士告诉 TechCrunch,该公司打算为该模型发布模型卡——一份详尽的技术报告,展示 OpenAI 内部和外部基准测试及安全测试的结果。
Altman 上个月在 X 平台发文称:“在发布前,我们将按照我们的准备框架对这款模型进行评估,就像处理其他模型那样。”他还补充道:“鉴于我们知道该模型在发布后会被修改,我们会进行额外的工作。”
OpenAI 因据传在近期模型的安全测试上动作过快,并未为部分模型发布模型卡而激起了一些 AI 伦理学家的愤怒。Altman 此外还被指控在 2023 年 11 月他短暂离职前误导了 OpenAI 高管关于模型安全评审的情况。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。