Discord近日承认,其AI内容审核系统存在漏洞,导致过去两个月内超过8000名用户遭到错误封禁。被误判的图片涵盖电子表格截图、棋盘、游戏纹理,以及白色、灰色透明背景图等无害内容,这些图片均被系统错误标记为违禁内容。
Discord证实,该问题自今年5月起开始影响部分账户,在技术团队发现并修复漏洞前的那个周末,又有约200名用户遭到误封。目前,所有受影响账户均已进入恢复流程。
这一事件再次凸显了AI辅助内容审核日益增长的挑战——随着众多平台越来越依赖自动化系统来大规模识别违法或滥用内容,误判风险也随之上升。
Discord在X平台发布的详细说明中解释称,其自动安全系统通过将用户上传内容与已知有害内容数据库进行比对来实现内容识别。尽管该技术旨在拦截违法内容,但公司承认系统有时会产生误报。按照正常流程,人工审核员应在采取任何处置措施前对被标记内容进行复核,然而此次漏洞导致系统直接对相关账户执行了封禁操作,跳过了这一关键环节。
Discord表示:"我们正在完善相关安全保障机制,以防止此类情况再次发生。"
在X平台和Reddit上,多名用户反映,他们仅因上传含有方格网格图案的图片,便遭到永久封禁。部分用户推测,Discord的AI审核工具对网格类图案的识别敏感度越来越高,原因在于此类图案此前曾被用于遮蔽或伪装NSFW内容及儿童性剥削内容,以规避自动检测系统的识别。
受影响用户纷纷在社交媒体上表达不满,部分用户指出,仅凭自动化检测结果就执行永久封禁可能造成严重后果,尤其是对那些依赖Discord进行工作沟通、参与游戏社区或维系远距离社交关系的用户而言,影响尤为显著。
"因为这种不公平的错误而失去Discord账号可能会对用户造成极大打击,每天都有数百万用户遭受AI误封的影响,这个问题必须得到解决。"一名X平台用户写道。
一名自称游戏导演的用户也表示,其账号因游戏纹理被AI审核系统误判而遭到封禁,而他日常工作中的所有通讯均依赖Discord进行。
Q&A
Q1:Discord的AI内容审核系统是怎么运作的?
A:Discord的自动安全系统通过将用户上传的内容与已知有害内容数据库进行相似度匹配来识别违禁内容。匹配结果会触发标记,按照正常流程,信任与安全团队的人工审核员会在采取封禁等处置措施前进行复核。但此次漏洞导致系统跳过人工审核环节,直接执行了封禁操作。
Q2:Discord这次误封事件的根本原因是什么?
A:主要原因是AI系统存在漏洞,导致含有方格网格图案的无害图片被误判为违禁内容。推测原因是,此类网格图案此前曾被不法分子用于遮蔽NSFW或儿童性剥削内容以规避检测,导致系统对此类图案的敏感度过高,最终引发大规模误判和错误封禁。
Q3:被Discord误封的用户账号能恢复吗?
A:可以恢复。Discord已确认,所有因本次漏洞而被错误封禁的账户均已进入恢复流程。同时,公司表示正在完善安全保障机制,防止类似问题再次发生。受影响用户可通过Discord官方支持渠道申请账户复核与解封。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。