OpenAI近日发布了Privacy Filter(隐私过滤器),这是一款双向Token分类模型,专门用于检测和脱敏个人身份信息(PII)。该模型支持单次扫描长篇文本、本地运行,并具备更强的上下文感知能力。
对于使用大语言模型的开发者而言,数据隐私问题由来已久。此次发布的Privacy Filter,实质上是OpenAI将其内部用于隐私保护工作流的工具对外开放。
工作原理
据OpenAI在官方博客中介绍,Privacy Filter以自回归预训练检查点为基础,将其转化为一个基于固定隐私标签分类体系的Token分类器。与逐Token生成不同,它"对输入序列进行一次性标注,再通过约束维特比算法解码出连贯的文本片段"。
目前支持八种标签,可对姓名、地址、电子邮件、电话号码、URL、日期、账号及密钥(如API密钥或密码)进行遮蔽或脱敏处理。不过该模型并不涵盖所有类型,例如社会安全号码和护照号码目前尚未纳入检测范围。
更强的上下文感知能力
OpenAI表示,Privacy Filter具备更强的上下文感知能力,能够识别更细微的个人信息,并作出更具判断力的处理决策。"通过将强大的语言理解能力与隐私专属标注系统相结合,它能够在非结构化文本中检测出更广泛的PII,包括需要依赖上下文才能作出正确判断的情形。"
相比之下,传统PII检测工具(如正则表达式或NLP库)通常依赖固定格式规则,面对需要结合上下文判断的复杂情形时更容易出现误判。
例如,Privacy Filter能够区分可公开保留的信息与需要遮蔽的私人信息,比如企业公开地址与个人家庭住址之间的差异。
此外,该模型支持最多128,000个Token的上下文长度,可在不分段的情况下扫描支持日志、长篇法律文件等"真实世界中的噪声文本"。
轻量化本地部署
Privacy Filter的参数规模相当精简,总参数量为15亿,活跃参数仅5000万,足以在浏览器或笔记本电脑上本地运行。这不仅提升了运行效率,也意味着开发者可以在自己的环境中完成PII的遮蔽与脱敏,从而降低敏感数据的泄露风险。
性能表现
OpenAI表示,Privacy Filter"在修正评估过程中发现的标注问题后,在PII-Masking-300k基准测试中达到了业界领先水平",F1分数为96%(精确率94.04%,召回率98.04%)。
与竞品的比较
PII检测与脱敏领域并非没有竞争者。微软的Presidio是一款开源框架,支持对文本、图像和结构化数据进行检测、脱敏、遮蔽与匿名化处理;亚马逊的Comprehend则是AWS工作流中的托管式PII检测服务。值得注意的是,OpenAI在博客中明确指出,Privacy Filter并非匿名化工具,而是"更广泛隐私设计系统中的一个组件"。
与现有竞品相比,Privacy Filter的优势在于其上下文感知能力和本地部署特性。
微软Presidio的功能可能更为全面,但OpenAI的模型凭借更强的上下文理解能力和本地运行支持,在与亚马逊托管服务的对比中具备明显优势。
面向开发者的适用场景与微调支持
对于构建RAG系统、开发客服流程或其他需要将用户文本输入大语言模型的工作流的开发者而言,OpenAI表示Privacy Filter可以无缝集成。
该模型还支持微调,且所需数据量较少。OpenAI在模型说明中指出,"使用10%的数据集进行训练即可将F1分数提升至96%以上"。这意味着开发者只需少量数据,便可针对不同的数据分布、隐私策略和特定领域任务对模型进行适配。
不过,OpenAI也提醒开发者,在法律、医疗、金融等高度敏感的领域应保持人工审核介入,并对潜在错误做好预案。
获取方式
Privacy Filter目前已在Hugging Face和GitHub上以Apache 2.0许可证开源发布。此次发布恰逢OpenAI推出GPT-5.5,该模型被OpenAI称为"一种全新的智能形态"。
Q&A
Q1:OpenAI Privacy Filter是什么,能用来做什么?
A:Privacy Filter是OpenAI发布的一款双向Token分类模型,专门用于检测和脱敏个人身份信息(PII)。它支持对姓名、地址、电话、邮箱、URL、日期、账号及密钥等八类信息进行遮蔽或脱敏处理,可在本地设备(如笔记本电脑或浏览器)上运行,适合开发者集成到大语言模型相关的工作流中,有效保护用户隐私数据不上传至云端。
Q2:Privacy Filter和微软Presidio、亚马逊Comprehend有什么区别?
A:三者定位不同。微软Presidio是功能更全面的开源框架,支持文本、图像和结构化数据的匿名化处理;亚马逊Comprehend是AWS托管服务,适合云端工作流。Privacy Filter的优势在于更强的上下文感知能力和本地部署支持,但OpenAI明确表示它不是匿名化工具,而是隐私设计系统的一个组成部分,适合需要轻量、本地化PII检测的场景。
Q3:Privacy Filter支持微调吗,需要多少数据?
A:支持微调。根据OpenAI的模型说明,使用10%的数据集进行训练即可将F1分数提升至96%以上,所需数据量相对较少。开发者可以用少量数据将模型适配到不同的数据分布、隐私策略或特定领域任务中。不过OpenAI提醒,在法律、医疗、金融等高敏感领域仍需保留人工审核流程。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。