一项新研究显示,基于放射影像进行临床诊断的 AI 模型尚未成熟。
研究人员常认为放射学是 AI 有潜力革新的领域,因为视觉或多模态模型在识别图像方面表现出色。基于充分的训练,假设 AI 模型能够像医学专家一样准确读取 X 光片和计算机断层扫描 (CT) 图像。
为了验证这一假设,来自 Johns Hopkins University、University of Bologna、Istanbul Medipol University 和 Italian Institute of Technology 的研究人员认为,首先需要构建一个更好的基准测试来评估视觉语言模型。
作者 Yixiong Chen, Wenjie Xiao, Pedro R. A. S. Bassi, Xinze Zhou, Sezgin Er, Ibrahim Ethem Hamamci, Zongwei Zhou 和 Alan Yuille 在题为 "Are Vision Language Models Ready for Clinical Diagnosis? A 3D Medical Benchmark for Tumor-centric Visual Question Answering"(视觉语言模型准备好用于临床诊断了吗?以肿瘤为中心的 3D 医学视觉问答基准)的预印本论文中解释了多个原因。
首先,大多数现有临床数据集规模较小且记录不够多样化,科学家们认为这是由于让专家标注数据所需的高成本和耗时所致。
其次,这些数据集通常依赖 2D 数据,这意味着 AI 有时无法从 3D CT 扫描中获得学习资源。
第三,用于自动评估机器学习模型的算法,如 BLEU 和 ROUGE,在处理简短且基于事实的医学答案时表现不佳。
此外,现有数据集可能采用了私有和机构内部的数据,这些数据无法供后续研究使用。
因此,作者开发了 DeepTumorVQA——一个专注于 CT 扫描中腹部肿瘤的诊断视觉问答 (VQA) 基准测试。
DeepTumorVQA 基于来自 17 个公共数据集的 9,262 个 CT 体积(共 3.7M 切片)构建,并辅以 395,000 个专家级问题,涉及识别、测量、视觉推理和医学推理四个类别。
23 位持证放射科医师花费六个月时间手动标注了患者肝脏、肾脏、胰腺和结肠上 3D 图像中显示的 7,629 个病灶,随后他们还共同核对标注以达成共识。病灶指的是扫描中显示的异常组织,诊断可以确定其是良性还是恶性。
依托这一基准数据,研究人员着手评估五个专为医疗设计的视觉模型:RadFM、M3D(其中一个基于 Llama2,另一个基于 Phi-3)、Merlin 和 CT-CHAT。
图表展示了 DeepTumorVQA 的问题(点击放大)。
作者从四个类别对这些模型进行了评估:器官和病灶体积测量的准确性;识别诸如病灶等特征的能力;基于视觉信息进行推理的能力(例如判断两只肾脏中哪只较大);以及医学推理(例如鉴别某一病灶是良性囊肿还是恶性肿瘤)。
符合 Betteridge 定律,作者对 “视觉语言模型是否准备好进行临床诊断?” 的回答是 “不”。
在测量任务中,这些模型的表现明显优于随机猜测;尽管在计数任务中,当以多选题形式呈现时,它们表现优于自由回答形式。
而在识别任务中,模型表现则相对逊色。所有模型均能识别病灶、囊肿与肿瘤,成功率在 65% 到 86% 不等,但研究人员发现这些模型的回答未能捕捉到细微的视觉线索。
在视觉推理任务中,模型在多步推理上表现尚可,但在肾脏体积对比等任务上存在困难,研究人员归因于 “双侧推理和精确定位的难度”。
被测试的模型在医学推理方面遇到的难题最多,研究人员指出这是因为此类任务要求整合训练数据中未曾涉及的信息。
作者总结道:“总体来看,虽然现代视觉语言模型在基础及识别密集型任务中展现出潜力,但其在实际诊断中的应用目前仍受限于弱视觉信号、不可靠的数值处理以及肤浅的推理链。”
AI 可以在辅助角色上帮助临床医师,但尚不足以取代医学专家的判断。 (R)
好文章,需要你的鼓励
美国网络安全和基础设施安全局指示联邦机构修补影响思科ASA 5500-X系列防火墙设备的两个零日漏洞CVE-2025-20362和CVE-2025-20333。这些漏洞可绕过VPN身份验证并获取root访问权限,已被黑客积极利用。攻击与国家支持的ArcaneDoor黑客活动有关,黑客通过漏洞安装bootkit恶意软件并操控只读存储器实现持久化。思科已发布补丁,CISA要求机构清点易受攻击系统并在今日前完成修补。
康考迪亚大学研究团队通过对比混合量子-经典神经网络与传统模型在三个基准数据集上的表现,发现量子增强模型在准确率、训练速度和资源效率方面均显著优于传统方法。研究显示混合模型的优势随数据集复杂度提升而增强,在CIFAR100上准确率提升9.44%,训练速度提升5-12倍,且参数更少。该成果为实用化量子增强人工智能铺平道路。
TimeWave是一款功能全面的计时器应用,超越了苹果自带时钟应用的功能。它支持创建流式计时器,让用户可以设置连续的任务计时,帮助专注工作。应用采用简洁的黑白设计,融入了Liquid Glass元素。内置冥想、番茄工作法、20-20-20护眼等多种计时模式,支持实时活动显示和Siri快捷指令。免费版提供基础功能,高级版需付费订阅。
沙特KAUST大学团队开发了专门针对阿拉伯语的AI模型家族"Hala",通过创新的"翻译再调优"技术路线,将高质量英语指令数据转化为450万规模的阿拉伯语语料库,训练出350M到9B参数的多个模型。在阿拉伯语专项测试中,Hala在同规模模型中表现最佳,证明了语言专门化策略的有效性,为阿拉伯语AI发展和其他语言的专门化模型提供了可复制的技术方案。