OpenAI 正在尝试采用更加"开放"的策略,详细说明了其计划于今年晚些时候向开发者社区发布首个"开放权重"模型。
该公司在其网站上创建了一个反馈表单,供开发者就新模型的构成提供意见。该模型目前仍在开发中。公司询问开发者过去使用过哪些开放模型,以及他们希望在新的开放权重模型中看到哪些功能。
OpenAI 首席执行官 Sam Altman 在 X 平台上透露了更多细节,称即将推出的开放模型将具有"推理"能力,类似于该公司现有的 o3-mini 模型,该模型会花时间思考用户的提示,从而提高响应的准确性。
在 OpenAI 面临众多采用更开放 AI 开发方式的竞争对手压力之际,其策略出现了这一意外转变。例如,中国人工智能初创公司 DeepSeek Ltd. 的 DeepSeek R1 模型就是开源的,开发者可以自由实验和改进。
然而,需要注意的是,开放权重模型与完全开源模型并不相同。它更像是开源和闭源模型之间的一个中间地带。在 AI 领域,"权重"指的是模型如何学习和建立连接。在响应中,某些连接或特征会被赋予更大的权重,以试图强化特定信息。
根据美国联邦贸易委员会的定义,开放权重模型是指将其权重透明化并公开可用的模型。用户可以查看模型的权重并进行修改,这意味着他们可以在无需使用新数据重新训练的情况下对其进行定制。
开放权重模型的一个优势是,开发者进行这些调整和为不同任务定制的成本更低。组织可以将内部数据上传到开放权重模型并确保其具有适当的权重。然后就能在生成响应时利用这些信息。这比传统的模型微调要容易得多。
不过,重要的是要记住,开放权重模型并非完全开源。真正的开源模型允许任何人查看其源代码、训练数据以及权重。在开放权重模型中,可以看到它建立连接的方式,但底层代码和训练数据仍然是隐藏的。可能还会有限制其使用方式的许可条件。
考虑到 OpenAI 与其名称相反,是业内最神秘的 AI 公司之一(例如不披露 ChatGPT 的训练数据),开放权重模型不太可能揭示其太多秘密。
尽管如此,OpenAI 显然认为更开放的方式是必要的。该公司今天获得了 400 亿美元的新投资,正在与竞争对手展开激烈竞争,这些竞争对手都在争相开发新型 AI 模型。开放权重模型可能会与 Meta Platforms Inc. 的 Llama 系列竞争,后者也被称为开源模型,尽管它们也不符合传统定义。
DeepSeek 是另一个竞争对手,其最新的 V3 模型目前被认为是最强大的开放权重模型之一。它对 OpenAI 构成威胁,因为它不仅能够匹配甚至有时超越其最佳专有模型的能力,而且企业使用和定制的成本也低得多。
OpenAI 尚未透露何时推出这个新的开放权重模型,这将是自 2019 年 2 月发布 GPT-2 以来的首个此类模型。
Altman 在 X 平台上解释说,公司需要根据其"准备框架"评估新模型,就像对待任何专有模型一样。"鉴于我们知道这个模型在发布后会被修改,我们将做额外的工作......我们很期待看到开发者们会构建什么,以及大型公司和政府如何在他们倾向于自行运行模型的情况下使用它。"
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。