OpenAI近日发布了Privacy Filter(隐私过滤器),这是一款双向Token分类模型,专门用于检测和脱敏个人身份信息(PII)。该模型支持单次扫描长篇文本、本地运行,并具备更强的上下文感知能力。
对于使用大语言模型的开发者而言,数据隐私问题由来已久。此次发布的Privacy Filter,实质上是OpenAI将其内部用于隐私保护工作流的工具对外开放。
工作原理
据OpenAI在官方博客中介绍,Privacy Filter以自回归预训练检查点为基础,将其转化为一个基于固定隐私标签分类体系的Token分类器。与逐Token生成不同,它"对输入序列进行一次性标注,再通过约束维特比算法解码出连贯的文本片段"。
目前支持八种标签,可对姓名、地址、电子邮件、电话号码、URL、日期、账号及密钥(如API密钥或密码)进行遮蔽或脱敏处理。不过该模型并不涵盖所有类型,例如社会安全号码和护照号码目前尚未纳入检测范围。
更强的上下文感知能力
OpenAI表示,Privacy Filter具备更强的上下文感知能力,能够识别更细微的个人信息,并作出更具判断力的处理决策。"通过将强大的语言理解能力与隐私专属标注系统相结合,它能够在非结构化文本中检测出更广泛的PII,包括需要依赖上下文才能作出正确判断的情形。"
相比之下,传统PII检测工具(如正则表达式或NLP库)通常依赖固定格式规则,面对需要结合上下文判断的复杂情形时更容易出现误判。
例如,Privacy Filter能够区分可公开保留的信息与需要遮蔽的私人信息,比如企业公开地址与个人家庭住址之间的差异。
此外,该模型支持最多128,000个Token的上下文长度,可在不分段的情况下扫描支持日志、长篇法律文件等"真实世界中的噪声文本"。
轻量化本地部署
Privacy Filter的参数规模相当精简,总参数量为15亿,活跃参数仅5000万,足以在浏览器或笔记本电脑上本地运行。这不仅提升了运行效率,也意味着开发者可以在自己的环境中完成PII的遮蔽与脱敏,从而降低敏感数据的泄露风险。
性能表现
OpenAI表示,Privacy Filter"在修正评估过程中发现的标注问题后,在PII-Masking-300k基准测试中达到了业界领先水平",F1分数为96%(精确率94.04%,召回率98.04%)。
与竞品的比较
PII检测与脱敏领域并非没有竞争者。微软的Presidio是一款开源框架,支持对文本、图像和结构化数据进行检测、脱敏、遮蔽与匿名化处理;亚马逊的Comprehend则是AWS工作流中的托管式PII检测服务。值得注意的是,OpenAI在博客中明确指出,Privacy Filter并非匿名化工具,而是"更广泛隐私设计系统中的一个组件"。
与现有竞品相比,Privacy Filter的优势在于其上下文感知能力和本地部署特性。
微软Presidio的功能可能更为全面,但OpenAI的模型凭借更强的上下文理解能力和本地运行支持,在与亚马逊托管服务的对比中具备明显优势。
面向开发者的适用场景与微调支持
对于构建RAG系统、开发客服流程或其他需要将用户文本输入大语言模型的工作流的开发者而言,OpenAI表示Privacy Filter可以无缝集成。
该模型还支持微调,且所需数据量较少。OpenAI在模型说明中指出,"使用10%的数据集进行训练即可将F1分数提升至96%以上"。这意味着开发者只需少量数据,便可针对不同的数据分布、隐私策略和特定领域任务对模型进行适配。
不过,OpenAI也提醒开发者,在法律、医疗、金融等高度敏感的领域应保持人工审核介入,并对潜在错误做好预案。
获取方式
Privacy Filter目前已在Hugging Face和GitHub上以Apache 2.0许可证开源发布。此次发布恰逢OpenAI推出GPT-5.5,该模型被OpenAI称为"一种全新的智能形态"。
Q&A
Q1:OpenAI Privacy Filter是什么,能用来做什么?
A:Privacy Filter是OpenAI发布的一款双向Token分类模型,专门用于检测和脱敏个人身份信息(PII)。它支持对姓名、地址、电话、邮箱、URL、日期、账号及密钥等八类信息进行遮蔽或脱敏处理,可在本地设备(如笔记本电脑或浏览器)上运行,适合开发者集成到大语言模型相关的工作流中,有效保护用户隐私数据不上传至云端。
Q2:Privacy Filter和微软Presidio、亚马逊Comprehend有什么区别?
A:三者定位不同。微软Presidio是功能更全面的开源框架,支持文本、图像和结构化数据的匿名化处理;亚马逊Comprehend是AWS托管服务,适合云端工作流。Privacy Filter的优势在于更强的上下文感知能力和本地部署支持,但OpenAI明确表示它不是匿名化工具,而是隐私设计系统的一个组成部分,适合需要轻量、本地化PII检测的场景。
Q3:Privacy Filter支持微调吗,需要多少数据?
A:支持微调。根据OpenAI的模型说明,使用10%的数据集进行训练即可将F1分数提升至96%以上,所需数据量相对较少。开发者可以用少量数据将模型适配到不同的数据分布、隐私策略或特定领域任务中。不过OpenAI提醒,在法律、医疗、金融等高敏感领域仍需保留人工审核流程。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。