来自中国和新加坡高校的研究人员开发了一项新技术,能够使被盗的知识图谱数据在未经授权的情况下被整合到GraphRAG AI系统中时变得无用。
大语言模型基于训练数据进行预测,无法有效回应其他数据的查询。AI行业通过检索增强生成(RAG)技术来解决这一局限性,让大语言模型能够访问外部数据集。例如,Google搜索中的AI概览功能就使用RAG为底层Gemini模型提供当前的网络数据,尽管这些数据不一定准确。
GraphRAG是微软为提高RAG效果所做的努力。通过创建称为知识图谱的语义相关数据集群,GraphRAG在与基于大语言模型的系统连接时表现优于基础RAG。数据的结构化使得大语言模型在接收提示时能够做出更准确的预测。
亚马逊、Google和微软都在各自的云服务中支持GraphRAG。
在一篇题为《让盗窃无用:GraphRAG系统中基于掺假的专有知识图谱保护》的预印本论文中,作者王伟杰、吕培卓等人观察到,企业知识图谱的构建成本相当高昂,他们引用了Cyc中包含2100万个断言的知识图谱中每个事实陈述成本5.71美元的数据。
考虑到潜在的高昂成本,企业有动机防止知识图谱资产被盗用来构建竞争性的AI产品——这也是出版商、作者和其他媒体内容创作者所担心的问题。辉瑞和西门子等公司已投资于知识图谱,以促进药物发现并协助制造。
王伟杰、吕培卓及其合作者提出了一种名为AURA的知识图谱防护技术,AURA代表"通过掺假主动降低效用"。这十位作者分别来自中国科学院、新加坡国立大学、南洋理工大学和北京理工大学。
他们在论文中解释,AURA是"一个新颖的框架,能够使被盗的知识图谱对攻击者无用,同时为GraphRAG系统保持最小的性能开销"。
本质上,这是一种巧妙地对知识图谱中的数据进行投毒或掺假的机制,使得准确检索需要密钥。与传统加密不同,目标不是拒绝对明文的访问,而是降低知识图谱对大语言模型的响应质量,使得在没有密钥的情况下进行的预测产生准确性下降和幻觉。
水印等替代方法可能在使数据盗窃可追踪方面有一定效用,但它们不能解决在私人环境中滥用被盗数据的问题。作者认为加密并不实用。
"完全加密文本和嵌入需要为每个查询解密图的大部分内容,"他们声称。"这个过程引入了令人望而却步的计算开销和延迟,使其不适合实际使用。"
这里的威胁模型假设攻击者能够完全窃取知识图谱,但没有获得密钥。商业秘密诉讼证实,像Waymo这样的公司不愿意看到他们的知识产权资产被窃取。
研究人员通过使用MetaQA、WebQSP、FB15K-237和HotpotQA数据集创建掺假的知识图谱来测试他们的技术,然后尝试将这些被投毒的知识图谱与各种大语言模型(GPT-4o、Gemini-2.5-flash、Llama-2-7b和Qwen-2.5-7b)结合部署GraphRAG系统。
结果表明AURA非常有效。模型100%检索到掺假内容,并基于这些错误信息向用户输出错误响应的比例达到94%。
学者们指出,这项技术并不完美,因为在某些情况下,知识图谱可能同时包含关于某个主题的正确和错误(掺假)数据,大语言模型可能会选择正确答案。
虽然存在净化被投毒数据的技术,但作者声称他们的方法主要抵抗基于语义一致性(如Node2Vec)、基于图的异常检测(如ODDBALL)和混合方法(如SEKA)的检查。
"通过降低被盗知识图谱的效用,AURA为保护GraphRAG中的知识产权提供了实用的解决方案,"作者总结道。
Q&A
Q1:AURA技术是什么?它的工作原理是怎样的?
A:AURA是"通过掺假主动降低效用"的缩写,是一种知识图谱防护技术。它通过巧妙地对知识图谱数据进行投毒或掺假,使得准确检索需要密钥。与传统加密不同,它的目标是降低知识图谱对大语言模型的响应质量,让没有密钥的预测产生准确性下降和幻觉。
Q2:AURA技术的防护效果如何?
A:测试结果显示AURA技术非常有效。在实验中,模型100%检索到了掺假内容,并基于这些错误信息向用户输出错误响应的比例达到94%。该技术主要抵抗基于语义一致性、图异常检测和混合方法的检查。
Q3:为什么需要保护知识图谱不被盗用?
A:企业知识图谱的构建成本相当高昂,例如Cyc知识图谱中每个事实陈述的成本达5.71美元。辉瑞和西门子等公司已大量投资于知识图谱用于药物发现和制造辅助。考虑到高昂成本和商业价值,企业有强烈动机防止这些资产被盗用来构建竞争性AI产品。
好文章,需要你的鼓励
2025年1月,OpenAI、软银、甲骨文和MGX联合宣布"星际之门"计划,承诺投资5000亿美元,部署高达10GW算力基础设施。如今,该项目已从白宫发布会上的宏大承诺,演变为一场前所未有规模的基础设施建设实验。项目已扩展至德克萨斯、威斯康星、俄亥俄等多地,并延伸至阿布扎比和挪威。然而,融资争议、合作伙伴摩擦、能源压力及政策监管收紧,正考验着这一"AI工业园"模式能否真正落地。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
加密货币交易所OKX正式推出AI智能体交易市场OKX AI,允许AI代理相互雇佣、自主结算,并建立基于区块链的可携带信誉档案。该平台经过50家早期服务商封测后向开发者开放,依托稳定币和链上支付基础设施,支持全天候微支付。OKX创始人徐明星表示,传统金融基础设施为人类而建,智能体经济需要为自主软件专门设计的基础设施。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。