Meta将在青少年与AI聊天机器人讨论自杀话题后向家长发出警报

Meta于近日宣布，当青少年与Meta AI聊天机器人讨论自杀或自我伤害相关内容时，平台将向家长发出通知。与此同时，Meta表示正在开发一项新功能，若用户的对话内容显示其存在自我伤害风险，系统将自动联系紧急救援服务。

上述举措的出台，正值Meta及其他科技公司面临来自监管机构和家长的审视——各界对AI聊天机器人如何回应处于危机状态的用户（尤其是青少年）高度关注，这一问题也日益影响着AI企业的产品设计与市场推广策略。

Meta表示，公司已专门构建了一套AI系统，用于识别青少年在对话中明确提及伤害自身内容的情况。

Meta在一篇博客中写道："我们深知，收到此类警报对家长而言可能极为揪心。因此，在持续优化识别能力的同时，所有被AI标记的对话都将经过人工审核，确认后方会向家长发送通知。若青少年的意图存在模糊性，我们将以审慎为先，优先通知家长。这意味着我们有时可能会在并无实质风险的情况下发出提醒，但我们认为这是当前阶段的正确起点，并将持续评估以确保方向正确。"

目前，该警报功能已面向美国、英国、澳大利亚及加拿大使用Instagram家长监护功能的用户正式上线，并计划于年底前面向全球推广。

此次更新是在Meta现有功能基础上的进一步延伸。此前，当青少年在Instagram上反复搜索与自杀或自我伤害相关的词汇时，平台已能向家长发送警报；此外，Meta还提供了一项功能，允许家长查看子女过去一周内与Meta AI讨论的话题。

Meta还宣布，"限制内容"设置现已适用于Meta AI。该设置允许家长为子女在Instagram上开启更为严格的体验模式，现已将这一保护延伸至AI聊天互动层面。Meta AI本身已经过训练，不会与青少年进行涉及性、浪漫情感或酒精相关的对话，而"限制内容"设置的引入将进一步扩大保护范围，使聊天机器人能够拒绝更广泛类型的内容请求。Meta未就具体涉及哪些类型的内容作出说明，TechCrunch已就此向该公司发出问询。

此外，Meta表示，无论用户是成年人还是青少年，一旦其与Meta AI的对话内容显示存在自杀风险，平台将主动联系紧急救援服务。值得注意的是，Meta此前已在用户于Facebook或Instagram上发布疑似存在自我伤害风险的内容时采取这一措施，此次举措将同等机制延伸至聊天机器人的对话场景中。

Q&A

Q1：Meta AI的青少年自杀风险警报功能是如何运作的？

A：Meta专门构建了一套AI识别系统，用于检测青少年与Meta AI对话中明确提及伤害自身的内容。一旦触发，相关对话会先经过人工审核，确认后才会向家长发送通知。若青少年意图模糊，Meta将以审慎原则优先通知家长。该功能目前已在美国、英国、澳大利亚和加拿大上线，年底前将面向全球推广。

Q2：Meta的"限制内容"设置对Meta AI有哪些具体限制？

A：开启"限制内容"设置后，青少年使用Meta AI时将获得更严格的保护体验。Meta AI本身已经过训练，不会与青少年进行涉及性、浪漫情感或酒精相关的对话，而"限制内容"设置将进一步扩展这些限制范围，使聊天机器人能够拒绝更广泛类型的内容请求。目前Meta尚未公布具体额外限制的内容类型。

Q3：Meta AI发现用户有自杀风险时会联系紧急服务吗？

A：会。Meta表示，无论用户是成年人还是青少年，只要其与Meta AI的对话内容显示存在自杀风险，平台将主动联系紧急救援服务。这一机制此前已应用于用户在Facebook或Instagram上发布高风险内容的情形，此次将同等措施延伸至AI聊天机器人的对话场景。