Discord AI审核漏洞误封超8000用户,错误将无害图片判定为违禁内容

Discord近日承认,其AI内容审核系统存在漏洞,在过去两个月内错误封禁了超过8000名用户。被误判的图片包括电子表格、棋盘、游戏纹理及白灰透明背景等无害内容。该漏洞自5月起持续影响用户账号,仅一个周末便新增200名受害者。目前所有受影响账号正在陆续恢复。此事件揭示了平台依赖自动化系统进行大规模内容审核时面临的误判风险。

Discord近日承认,其AI内容审核系统存在漏洞,导致过去两个月内超过8000名用户遭到错误封禁。被误判的图片涵盖电子表格截图、棋盘、游戏纹理,以及白色、灰色透明背景图等无害内容,这些图片均被系统错误标记为违禁内容。

Discord证实,该问题自今年5月起开始影响部分账户,在技术团队发现并修复漏洞前的那个周末,又有约200名用户遭到误封。目前,所有受影响账户均已进入恢复流程。

这一事件再次凸显了AI辅助内容审核日益增长的挑战——随着众多平台越来越依赖自动化系统来大规模识别违法或滥用内容,误判风险也随之上升。

Discord在X平台发布的详细说明中解释称,其自动安全系统通过将用户上传内容与已知有害内容数据库进行比对来实现内容识别。尽管该技术旨在拦截违法内容,但公司承认系统有时会产生误报。按照正常流程,人工审核员应在采取任何处置措施前对被标记内容进行复核,然而此次漏洞导致系统直接对相关账户执行了封禁操作,跳过了这一关键环节。

Discord表示:"我们正在完善相关安全保障机制,以防止此类情况再次发生。"

在X平台和Reddit上,多名用户反映,他们仅因上传含有方格网格图案的图片,便遭到永久封禁。部分用户推测,Discord的AI审核工具对网格类图案的识别敏感度越来越高,原因在于此类图案此前曾被用于遮蔽或伪装NSFW内容及儿童性剥削内容,以规避自动检测系统的识别。

受影响用户纷纷在社交媒体上表达不满,部分用户指出,仅凭自动化检测结果就执行永久封禁可能造成严重后果,尤其是对那些依赖Discord进行工作沟通、参与游戏社区或维系远距离社交关系的用户而言,影响尤为显著。

"因为这种不公平的错误而失去Discord账号可能会对用户造成极大打击,每天都有数百万用户遭受AI误封的影响,这个问题必须得到解决。"一名X平台用户写道。

一名自称游戏导演的用户也表示,其账号因游戏纹理被AI审核系统误判而遭到封禁,而他日常工作中的所有通讯均依赖Discord进行。

Q&A

Q1:Discord的AI内容审核系统是怎么运作的?

A:Discord的自动安全系统通过将用户上传的内容与已知有害内容数据库进行相似度匹配来识别违禁内容。匹配结果会触发标记,按照正常流程,信任与安全团队的人工审核员会在采取封禁等处置措施前进行复核。但此次漏洞导致系统跳过人工审核环节,直接执行了封禁操作。

Q2:Discord这次误封事件的根本原因是什么?

A:主要原因是AI系统存在漏洞,导致含有方格网格图案的无害图片被误判为违禁内容。推测原因是,此类网格图案此前曾被不法分子用于遮蔽NSFW或儿童性剥削内容以规避检测,导致系统对此类图案的敏感度过高,最终引发大规模误判和错误封禁。

Q3:被Discord误封的用户账号能恢复吗?

A:可以恢复。Discord已确认,所有因本次漏洞而被错误封禁的账户均已进入恢复流程。同时,公司表示正在完善安全保障机制,防止类似问题再次发生。受影响用户可通过Discord官方支持渠道申请账户复核与解封。

来源:TechCrunch - AI

0赞

好文章,需要你的鼓励

2026

07/08

15:30

分享

点赞

邮件订阅