来自中国和新加坡高校的研究人员开发了一项新技术,能够使被盗的知识图谱数据在未经授权的情况下被整合到GraphRAG AI系统中时变得无用。
大语言模型基于训练数据进行预测,无法有效回应其他数据的查询。AI行业通过检索增强生成(RAG)技术来解决这一局限性,让大语言模型能够访问外部数据集。例如,Google搜索中的AI概览功能就使用RAG为底层Gemini模型提供当前的网络数据,尽管这些数据不一定准确。
GraphRAG是微软为提高RAG效果所做的努力。通过创建称为知识图谱的语义相关数据集群,GraphRAG在与基于大语言模型的系统连接时表现优于基础RAG。数据的结构化使得大语言模型在接收提示时能够做出更准确的预测。
亚马逊、Google和微软都在各自的云服务中支持GraphRAG。
在一篇题为《让盗窃无用:GraphRAG系统中基于掺假的专有知识图谱保护》的预印本论文中,作者王伟杰、吕培卓等人观察到,企业知识图谱的构建成本相当高昂,他们引用了Cyc中包含2100万个断言的知识图谱中每个事实陈述成本5.71美元的数据。
考虑到潜在的高昂成本,企业有动机防止知识图谱资产被盗用来构建竞争性的AI产品——这也是出版商、作者和其他媒体内容创作者所担心的问题。辉瑞和西门子等公司已投资于知识图谱,以促进药物发现并协助制造。
王伟杰、吕培卓及其合作者提出了一种名为AURA的知识图谱防护技术,AURA代表"通过掺假主动降低效用"。这十位作者分别来自中国科学院、新加坡国立大学、南洋理工大学和北京理工大学。
他们在论文中解释,AURA是"一个新颖的框架,能够使被盗的知识图谱对攻击者无用,同时为GraphRAG系统保持最小的性能开销"。
本质上,这是一种巧妙地对知识图谱中的数据进行投毒或掺假的机制,使得准确检索需要密钥。与传统加密不同,目标不是拒绝对明文的访问,而是降低知识图谱对大语言模型的响应质量,使得在没有密钥的情况下进行的预测产生准确性下降和幻觉。
水印等替代方法可能在使数据盗窃可追踪方面有一定效用,但它们不能解决在私人环境中滥用被盗数据的问题。作者认为加密并不实用。
"完全加密文本和嵌入需要为每个查询解密图的大部分内容,"他们声称。"这个过程引入了令人望而却步的计算开销和延迟,使其不适合实际使用。"
这里的威胁模型假设攻击者能够完全窃取知识图谱,但没有获得密钥。商业秘密诉讼证实,像Waymo这样的公司不愿意看到他们的知识产权资产被窃取。
研究人员通过使用MetaQA、WebQSP、FB15K-237和HotpotQA数据集创建掺假的知识图谱来测试他们的技术,然后尝试将这些被投毒的知识图谱与各种大语言模型(GPT-4o、Gemini-2.5-flash、Llama-2-7b和Qwen-2.5-7b)结合部署GraphRAG系统。
结果表明AURA非常有效。模型100%检索到掺假内容,并基于这些错误信息向用户输出错误响应的比例达到94%。
学者们指出,这项技术并不完美,因为在某些情况下,知识图谱可能同时包含关于某个主题的正确和错误(掺假)数据,大语言模型可能会选择正确答案。
虽然存在净化被投毒数据的技术,但作者声称他们的方法主要抵抗基于语义一致性(如Node2Vec)、基于图的异常检测(如ODDBALL)和混合方法(如SEKA)的检查。
"通过降低被盗知识图谱的效用,AURA为保护GraphRAG中的知识产权提供了实用的解决方案,"作者总结道。
Q&A
Q1:AURA技术是什么?它的工作原理是怎样的?
A:AURA是"通过掺假主动降低效用"的缩写,是一种知识图谱防护技术。它通过巧妙地对知识图谱数据进行投毒或掺假,使得准确检索需要密钥。与传统加密不同,它的目标是降低知识图谱对大语言模型的响应质量,让没有密钥的预测产生准确性下降和幻觉。
Q2:AURA技术的防护效果如何?
A:测试结果显示AURA技术非常有效。在实验中,模型100%检索到了掺假内容,并基于这些错误信息向用户输出错误响应的比例达到94%。该技术主要抵抗基于语义一致性、图异常检测和混合方法的检查。
Q3:为什么需要保护知识图谱不被盗用?
A:企业知识图谱的构建成本相当高昂,例如Cyc知识图谱中每个事实陈述的成本达5.71美元。辉瑞和西门子等公司已大量投资于知识图谱用于药物发现和制造辅助。考虑到高昂成本和商业价值,企业有强烈动机防止这些资产被盗用来构建竞争性AI产品。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。