在您口袋里的智能手机背后,以及几乎所有其他制造产品背后,都有一个叫做BOM(物料清单)的东西——它分解产品的零部件并解释产品是如何制造的。BOM作为制造蓝图,可以帮助企业管理库存、减少浪费并提高供应链效率。
软件产品在2010年代有了自己的物料清单,最初专注于让开源许可要求更容易遵循。随着恶意攻击变得更加常见,软件BOM(或SBOM)的范围扩展到包括来源和安全漏洞。现在,随着AI接管一些传统的软件角色,SBOM再次发生演变,为基础模型及其衍生应用目前分散的文档方式带来更多一致性和问责制。
标准仍在演变中,但高层次的AIBOM提供了现代AI模型基础数据集、权重和方法论的标准化、可审计记录。它就像一个机器可读的模型卡,有足够详细的信息供用户检查数据集许可证、模型的早期版本和评估结果。理论上,AIBOM是您检查以确保模型符合道德标准和主要安全和安全法规的记录。
就目前的模型文档化程度而言,元数据往往隐藏在PDF、长博客文章或半结构化模型卡中。下游用户往往对他们正在适配的模型中使用了什么数据,或者预训练期间的设计选择如何在现实生活中发挥作用知之甚少。
作为迈向完整AIBOM的第一步,IBM刚刚发布了其Granite 4.0模型的机器可读JSON格式的模型和数据集元数据。结构化格式意味着模型构建者必须手动创建的模型卡和其他AI文档现在可以立即生成。企业还可以使用这种格式来比较模型并检查投入生产的模型是否符合内部安全和安全策略,在运行时添加额外的风险控制。
Granite转向结构化披露为这些模型带来了新的透明度水平,这些模型在斯坦福基础模型透明度指数中排名第一,并且是首批获得ISO 42001认证的大语言模型之一。
AIBOM的组成要素
与SBOM一样,AIBOM追踪单个软件组件。然而,它的范围扩展到基础模型独有的特性——如模型权重、下游应用,以及训练数据的来源,无论是从网络收集还是在日益复杂的管道中自动生成。
其他AI特定组件包括模型训练所用的硬件以及运行所需的配置,以及与大语言模型和大语言模型智能体相关的细节,这些智能体的输出可能因提示措辞的不同而大相径庭。
都柏林三一学院专注于AI治理的研究员Arthit Suriyawongkul说:"目前软件被视为一等公民,而数据是事后考虑的。现代AI颠覆了这一点。数据只是需要彻底记录的众多主要工件之一。"
从过去到现在,安全关切和新兴法规推动科技行业采用更严格报告的SBOM。Linux基金会在2010年引入了软件包数据交换(SPDX)标准,使开源许可更容易沟通。
后来,一系列备受瞩目的供应链攻击促使Linux将SPDX的重点扩展到暴露安全风险。2017年,开放全球应用安全项目(OWASP)引入了自己的软件文档生成标准CycloneDX。2021年拜登总统的行政命令通过提高软件供应链风险的可见性来改善国家网络安全,继续强调安全的重要性。
Linux和OWASP现在都在将其SBOM标准扩展到AI,IBM研究在构建Granite的新结构化披露时借鉴了这项工作。随着行业朝着共同标准努力,IBM研究人员已将他们的最佳实践分享给社区。
广泛来说,AIBOM涵盖六个主要领域——模型、数据集、代码、硬件、数据处理和治理。一旦这些信息变得机器可读,就可以随着模型和流程的演进而更新。信息可以立即提取用于报告,安全策略可以集成到下游应用中,以确保模型按其创造者的意图行为。
IBM Granite背后数据管理平台的经理和首席架构师Rakesh Jain说:"如果你看任何Hugging Face上的模型卡,它都是一个README.md文件,你可以查看,但实际上无法在程序化使用中不开发某种解析机制。每个模型提供商的写法都不同。"
在IBM Granite拥有完整的物料清单之前还有更多工作要做,但团队在治理和自动化工作流程方面的投资应该会简化这个过程,因为完整AIBOM所需的大部分元数据已经存在,Jain说。
他说:"一旦我们将所有内容都转换为机器可读格式,从我们所有模型中大规模检索信息将变得非常容易。"
开源与闭源模型的经济影响
开源大语言模型近年来显著改善,Granite和其他顶级开源模型现在在特定领域以一小部分成本超越了更大的前沿模型。尽管差距缩小,闭源模型在推理市场占主导地位,根据MIT和佐治亚理工学院研究员Frank Nagle和Daniel Yue的新研究,占据了约96%的收入。
他们发现这种不平衡在经济上意义重大,估计如果需求转向开源模型,推理成本平均将下降70%以上。2025年,开源模型可能为用户节省248亿美元。
同时也是Linux基金会首席经济学家的Nagle在博客文章中写道:"这超过了整个国家的年度GDP。它代表了可以被组织、开发者和下游用户获得的大量消费者节省。"
尚不清楚是品牌认知度、性能基准还是其他因素推动用户偏好闭源模型,但标准化披露本身可能不足以说服用户转换,Nagle在采访中说。
他说:"开源模型没有被充分利用不是因为透明度——闭源模型用户根本不知道他们使用的模型中有什么,而他们为此付费更多。但信任是一个重要因素,也许AIBOM可以帮助一些人克服这个障碍。"
由AIBOM覆盖的开源模型可能对在欧洲开展业务的企业特别有吸引力,那里AI特定法规现已生效。机器可读文档为企业和监管机构留下了清晰的审计轨迹,这可能对双方都有帮助。
它使数据来源和模型血统更容易跟踪和证明。如果AI系统受到攻击,结构化元数据可以帮助企业隔离受损的数据集、依赖关系和模型版本,这可能导致更快的补救。
透明度的价值
最新的斯坦福透明度排名显示许多科技公司正在远离透明度,这可能有多种原因。
公司可能专注于性能高于一切,而其他公司可能想要保持其数据和技术私有以保护其市场优势。走捷径的公司可能不想引起对自己的注意。如果他们草率地收集训练数据,他们的模型摄入了受版权保护的材料,即使是无意中,也可能为诉讼开门。
毫无疑问,透明度带来额外的审查并可能减缓开发过程。但有充分的证据表明,透明度以及与之相伴的道德实践可以创造价值。
负责任的AI系统可以在客户和员工中建立信任,通过减少客户投诉和合规问题来降低风险,并导致更高质量的产品。在IBM和圣母大学道德与公共利益研究所对915名全球高管的最新调查中,研究人员发现,在AI道德方面投资最多的组织平均报告的AI归因营业利润比投资最少的组织高30%。
专注于AI治理的IBM研究员、研究联合作者Francesca Rossi说:"投资回报率可以是短期和量化的,如更高的利润或减少的支出,但也可以是定性回报,如提高公司内的技能和能力。"
Q&A
Q1:什么是AIBOM?它与传统的BOM有什么区别?
A:AIBOM是AI物料清单的简称,它提供了现代AI模型基础数据集、权重和方法论的标准化、可审计记录。与传统BOM相比,AIBOM的范围扩展到基础模型独有的特性,如模型权重、下游应用、训练数据来源等AI特定组件。
Q2:IBM Granite模型在透明度方面有什么特殊表现?
A:IBM Granite模型在斯坦福基础模型透明度指数中排名第一,是首批获得ISO 42001认证的大语言模型之一。IBM刚刚发布了其Granite 4.0模型的机器可读JSON格式的模型和数据集元数据,为这些模型带来了新的透明度水平。
Q3:开源模型相比闭源模型能节省多少成本?
A:根据MIT和佐治亚理工学院研究员的新研究,如果需求转向开源模型,推理成本平均将下降70%以上。2025年,开源模型可能为用户节省248亿美元,这个数字超过了整个国家的年度GDP。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。