随着AI模型在编写和评估代码方面的能力不断增强,开源项目发现自己被大量高质量但需要仔细审查的AI生成内容所困扰。
对于curl项目而言,这意味着虽然低质量的AI垃圾报告减少了,但维护者需要评估的可信漏洞报告却大幅增加。
curl项目创始人兼首席开发者Daniel Stenberg在社交媒体上表示:"在过去几个月里,我们在curl项目中不再收到AI垃圾安全报告。它们消失了。相反,我们收到了越来越多真正优秀的安全报告,几乎全部都是在AI帮助下完成的。"
Stenberg说,这些报告的提交速度比以往任何时候都快,给维护者带来了日益增长的工作负担。
根据Stenberg的说法,其他开源维护者也面临着类似的情况。
Linux内核维护者Greg Kroah-Hartman最近指出,AI辅助的漏洞报告包含更少的垃圾信息和更多有效的问题。他表示Linux团队一直在努力处理增加的报告量,但暗示较小的团队可能正在苦苦挣扎。
即使报告质量更好,被识别出的问题也不一定是可以被利用且需要修正的安全漏洞。作为证据,Stenberg指出了curl的公开关闭报告列表。大多数报告被关闭是因为这些问题不是严重威胁,即使它们可能值得修正。
例如,curl库中的一个数据竞争问题最初被讨论为可能获得CVE编号的问题。但最终在拉取请求中得到修复,该漏洞被认为只是"信息性的"。
Stenberg在2024年曾经指出AI垃圾漏洞报告的问题,今年早些时候甚至停止为curl漏洞报告支付奖励。他的目标是消除提交错误或无根据报告的激励机制,无论这些报告来自为了最大化经济收益而最小化努力的自动化系统,还是来自使用AI工具但逃避检查AI工作义务的人员。
其他组织也采取了类似措施,最近的是Internet Bug Bounty项目,该项目表示将在3月底停止为漏洞发放金钱奖励。
项目维护者在一份同时关闭Node.js漏洞奖励项目的公告中说:"发现环境正在发生变化。AI辅助研究正在扩大整个生态系统的漏洞发现范围,提高了覆盖率和速度。开源中发现与修复能力之间的平衡已经发生了实质性转变。我们有责任确保该项目有效地实现其雄心勃勃的双重目标:发现和修复。因此,我们暂停提交,同时考虑推进这些目标所需的结构和激励机制。"
Linux维护者Willy Tarreau在回应Stenberg的帖子时指出,Linux内核团队与curl项目团队有着类似的经历。他认为需要对漏洞报告者提出更多要求。
他说:"是时候更新报告规则了,通过让大语言模型加报告者承担更大份额的工作来减少开销,从而减少分类所花费的时间。"
强大的AI工具并不能增加人类参与者的能力。AI带来的许多名义上的生产力提升可能只是AI工具用户将代码审查成本转移到账面之外。
Q&A
Q1:为什么curl项目的维护者工作负担反而增加了?
A:虽然AI垃圾报告减少了,但AI现在能生成大量高质量的安全漏洞报告,这些报告看起来很专业,维护者必须仔细评估每一个。报告提交速度比以往更快,给维护者带来了日益增长的工作负担。
Q2:AI生成的漏洞报告都是真正的安全威胁吗?
A:不是的。即使报告质量更好,被识别出的问题也不一定是可以被利用的严重安全漏洞。curl的公开记录显示,大多数报告最终被关闭,因为这些问题不是严重威胁,即使可能值得修正。
Q3:开源项目如何应对AI辅助漏洞报告带来的挑战?
A:一些项目停止了漏洞奖励计划,如curl和Internet Bug Bounty项目,目的是消除提交低质量报告的经济激励。维护者还建议更新报告规则,要求报告者承担更多工作以减少审查负担。
好文章,需要你的鼓励
企业谈AI基础设施时,注意力往往首先集中在模型、GPU和算力集群上。但当大模型应用走向规模化推理,一个瓶颈开始浮现:算力采购完成,并不意味着Token能够被稳定、低成本、可控地交付出去。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。