在您口袋里的智能手机背后,以及几乎所有其他制造产品背后,都有一个叫做BOM(物料清单)的东西——它分解产品的零部件并解释产品是如何制造的。BOM作为制造蓝图,可以帮助企业管理库存、减少浪费并提高供应链效率。
软件产品在2010年代有了自己的物料清单,最初专注于让开源许可要求更容易遵循。随着恶意攻击变得更加常见,软件BOM(或SBOM)的范围扩展到包括来源和安全漏洞。现在,随着AI接管一些传统的软件角色,SBOM再次发生演变,为基础模型及其衍生应用目前分散的文档方式带来更多一致性和问责制。
标准仍在演变中,但高层次的AIBOM提供了现代AI模型基础数据集、权重和方法论的标准化、可审计记录。它就像一个机器可读的模型卡,有足够详细的信息供用户检查数据集许可证、模型的早期版本和评估结果。理论上,AIBOM是您检查以确保模型符合道德标准和主要安全和安全法规的记录。
就目前的模型文档化程度而言,元数据往往隐藏在PDF、长博客文章或半结构化模型卡中。下游用户往往对他们正在适配的模型中使用了什么数据,或者预训练期间的设计选择如何在现实生活中发挥作用知之甚少。
作为迈向完整AIBOM的第一步,IBM刚刚发布了其Granite 4.0模型的机器可读JSON格式的模型和数据集元数据。结构化格式意味着模型构建者必须手动创建的模型卡和其他AI文档现在可以立即生成。企业还可以使用这种格式来比较模型并检查投入生产的模型是否符合内部安全和安全策略,在运行时添加额外的风险控制。
Granite转向结构化披露为这些模型带来了新的透明度水平,这些模型在斯坦福基础模型透明度指数中排名第一,并且是首批获得ISO 42001认证的大语言模型之一。
AIBOM的组成要素
与SBOM一样,AIBOM追踪单个软件组件。然而,它的范围扩展到基础模型独有的特性——如模型权重、下游应用,以及训练数据的来源,无论是从网络收集还是在日益复杂的管道中自动生成。
其他AI特定组件包括模型训练所用的硬件以及运行所需的配置,以及与大语言模型和大语言模型智能体相关的细节,这些智能体的输出可能因提示措辞的不同而大相径庭。
都柏林三一学院专注于AI治理的研究员Arthit Suriyawongkul说:"目前软件被视为一等公民,而数据是事后考虑的。现代AI颠覆了这一点。数据只是需要彻底记录的众多主要工件之一。"
从过去到现在,安全关切和新兴法规推动科技行业采用更严格报告的SBOM。Linux基金会在2010年引入了软件包数据交换(SPDX)标准,使开源许可更容易沟通。
后来,一系列备受瞩目的供应链攻击促使Linux将SPDX的重点扩展到暴露安全风险。2017年,开放全球应用安全项目(OWASP)引入了自己的软件文档生成标准CycloneDX。2021年拜登总统的行政命令通过提高软件供应链风险的可见性来改善国家网络安全,继续强调安全的重要性。
Linux和OWASP现在都在将其SBOM标准扩展到AI,IBM研究在构建Granite的新结构化披露时借鉴了这项工作。随着行业朝着共同标准努力,IBM研究人员已将他们的最佳实践分享给社区。
广泛来说,AIBOM涵盖六个主要领域——模型、数据集、代码、硬件、数据处理和治理。一旦这些信息变得机器可读,就可以随着模型和流程的演进而更新。信息可以立即提取用于报告,安全策略可以集成到下游应用中,以确保模型按其创造者的意图行为。
IBM Granite背后数据管理平台的经理和首席架构师Rakesh Jain说:"如果你看任何Hugging Face上的模型卡,它都是一个README.md文件,你可以查看,但实际上无法在程序化使用中不开发某种解析机制。每个模型提供商的写法都不同。"
在IBM Granite拥有完整的物料清单之前还有更多工作要做,但团队在治理和自动化工作流程方面的投资应该会简化这个过程,因为完整AIBOM所需的大部分元数据已经存在,Jain说。
他说:"一旦我们将所有内容都转换为机器可读格式,从我们所有模型中大规模检索信息将变得非常容易。"
开源与闭源模型的经济影响
开源大语言模型近年来显著改善,Granite和其他顶级开源模型现在在特定领域以一小部分成本超越了更大的前沿模型。尽管差距缩小,闭源模型在推理市场占主导地位,根据MIT和佐治亚理工学院研究员Frank Nagle和Daniel Yue的新研究,占据了约96%的收入。
他们发现这种不平衡在经济上意义重大,估计如果需求转向开源模型,推理成本平均将下降70%以上。2025年,开源模型可能为用户节省248亿美元。
同时也是Linux基金会首席经济学家的Nagle在博客文章中写道:"这超过了整个国家的年度GDP。它代表了可以被组织、开发者和下游用户获得的大量消费者节省。"
尚不清楚是品牌认知度、性能基准还是其他因素推动用户偏好闭源模型,但标准化披露本身可能不足以说服用户转换,Nagle在采访中说。
他说:"开源模型没有被充分利用不是因为透明度——闭源模型用户根本不知道他们使用的模型中有什么,而他们为此付费更多。但信任是一个重要因素,也许AIBOM可以帮助一些人克服这个障碍。"
由AIBOM覆盖的开源模型可能对在欧洲开展业务的企业特别有吸引力,那里AI特定法规现已生效。机器可读文档为企业和监管机构留下了清晰的审计轨迹,这可能对双方都有帮助。
它使数据来源和模型血统更容易跟踪和证明。如果AI系统受到攻击,结构化元数据可以帮助企业隔离受损的数据集、依赖关系和模型版本,这可能导致更快的补救。
透明度的价值
最新的斯坦福透明度排名显示许多科技公司正在远离透明度,这可能有多种原因。
公司可能专注于性能高于一切,而其他公司可能想要保持其数据和技术私有以保护其市场优势。走捷径的公司可能不想引起对自己的注意。如果他们草率地收集训练数据,他们的模型摄入了受版权保护的材料,即使是无意中,也可能为诉讼开门。
毫无疑问,透明度带来额外的审查并可能减缓开发过程。但有充分的证据表明,透明度以及与之相伴的道德实践可以创造价值。
负责任的AI系统可以在客户和员工中建立信任,通过减少客户投诉和合规问题来降低风险,并导致更高质量的产品。在IBM和圣母大学道德与公共利益研究所对915名全球高管的最新调查中,研究人员发现,在AI道德方面投资最多的组织平均报告的AI归因营业利润比投资最少的组织高30%。
专注于AI治理的IBM研究员、研究联合作者Francesca Rossi说:"投资回报率可以是短期和量化的,如更高的利润或减少的支出,但也可以是定性回报,如提高公司内的技能和能力。"
Q&A
Q1:什么是AIBOM?它与传统的BOM有什么区别?
A:AIBOM是AI物料清单的简称,它提供了现代AI模型基础数据集、权重和方法论的标准化、可审计记录。与传统BOM相比,AIBOM的范围扩展到基础模型独有的特性,如模型权重、下游应用、训练数据来源等AI特定组件。
Q2:IBM Granite模型在透明度方面有什么特殊表现?
A:IBM Granite模型在斯坦福基础模型透明度指数中排名第一,是首批获得ISO 42001认证的大语言模型之一。IBM刚刚发布了其Granite 4.0模型的机器可读JSON格式的模型和数据集元数据,为这些模型带来了新的透明度水平。
Q3:开源模型相比闭源模型能节省多少成本?
A:根据MIT和佐治亚理工学院研究员的新研究,如果需求转向开源模型,推理成本平均将下降70%以上。2025年,开源模型可能为用户节省248亿美元,这个数字超过了整个国家的年度GDP。
好文章,需要你的鼓励
2025年1月,OpenAI、软银、甲骨文和MGX联合宣布"星际之门"计划,承诺投资5000亿美元,部署高达10GW算力基础设施。如今,该项目已从白宫发布会上的宏大承诺,演变为一场前所未有规模的基础设施建设实验。项目已扩展至德克萨斯、威斯康星、俄亥俄等多地,并延伸至阿布扎比和挪威。然而,融资争议、合作伙伴摩擦、能源压力及政策监管收紧,正考验着这一"AI工业园"模式能否真正落地。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
加密货币交易所OKX正式推出AI智能体交易市场OKX AI,允许AI代理相互雇佣、自主结算,并建立基于区块链的可携带信誉档案。该平台经过50家早期服务商封测后向开发者开放,依托稳定币和链上支付基础设施,支持全天候微支付。OKX创始人徐明星表示,传统金融基础设施为人类而建,智能体经济需要为自主软件专门设计的基础设施。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。