ChatGPT健康服务存在安全隐患,研究显示其常未能推荐紧急护理

《自然医学》期刊发表的一项新研究显示,OpenAI的ChatGPT健康服务在紧急医疗情况下表现不佳。研究人员用60个真实患者场景进行测试,发现在超过一半需要立即就医的案例中,该系统建议患者居家或预约常规门诊。虽然在明确的紧急情况下表现较好,但在处理复杂或模糊症状时存在困难,特别是在自杀风险评估方面表现不稳定。

《自然医学》杂志发表的一项新研究对OpenAI推出的健康服务ChatGPT Health的安全性提出了担忧。研究发现,在许多实际需要紧急护理的情况下,该服务未能给出正确的就医建议。

研究人员使用60个真实的患者场景对ChatGPT Health进行了测试,这些场景涵盖了从轻微不适到急性医疗状况的各种情况。三名医生事先评估了所需的护理级别,然后将结果与AI工具的建议进行比较。结果显示,在超过半数应该立即送医的病例中,系统反而建议患者留在家中或预约常规门诊。

研究表明,该服务在处理明确的紧急情况时表现较好,例如中风或严重过敏反应,但在处理更复杂或模糊的症状时则遇到困难。研究人员还指出,系统在处理自杀风险方面存在缺陷,警告功能有时会因场景中添加的额外信息不同而消失。

对此,OpenAI回应称,该研究并未反映服务在实际应用中的典型使用情况,并表示模型正在持续更新中。

Q&A

Q1:ChatGPT Health在医疗建议方面存在什么问题?

A:研究发现ChatGPT Health在许多实际需要紧急护理的情况下未能给出正确建议。在超过半数应该立即送医的病例中,系统反而建议患者留在家中或预约常规门诊。该服务在处理明确紧急情况时表现较好,但处理复杂或模糊症状时存在困难。

Q2:研究人员如何测试ChatGPT Health的准确性?

A:研究人员使用60个真实患者场景进行测试,涵盖从轻微不适到急性医疗状况的各种情况。三名医生事先评估了所需的护理级别,然后将医生的评估结果与AI工具给出的建议进行对比分析,从而发现了系统在紧急情况判断上的不足。

Q3:OpenAI对ChatGPT Health安全性研究有何回应?

A:OpenAI回应称,该研究并未反映服务在实际应用中的典型使用情况,并强调模型正在持续更新中。这表明OpenAI认为实验室测试场景与真实使用环境存在差异,同时也在不断改进系统性能。

来源:Computerworld

0赞

好文章,需要你的鼓励

2026

03/09

10:26

分享

点赞

邮件订阅