一个简单的转折愚弄了人工智能,并揭示了医学伦理中的一个危险缺陷
        西奈山伊坎医学院的研究人员与以色列拉宾医学中心的同事和其他合作者合作进行的一项研究表明,即使是最先进的人工智能(AI)模型在面对复杂的医学伦理场景时也会犯下令人惊讶的简单错误。

        这些发现引发了关于在医疗保健环境中如何以及何时依赖大型语言模型(LLM)(如ChatGPT)的重要问题7月22日在线发布的NPJ数字医学[10.1038/s41746-025-01792-y]。

        研究小组受到Daniel Kahneman的《思考,快与慢》一书的启发,该书将快速、直观的反应与较慢的分析推理进行了对比。人们已经观察到,当经典的横向思维谜题受到微妙的调整时,大型语言模型(LLM)会动摇。基于这一见解,该研究测试了当面临众所周知的道德问题时,人工智能系统在这两种模式之间的转换情况被故意调整的困境。

        “人工智能可以非常强大和高效,但我们的研究表明,即使这种反应忽略了关键细节,它也可能默认为最熟悉或最直观的答案,”共同资深作者、西奈山伊坎医学院Windreich人工智能与人类健康系生成人工智能主任Eyal Klang医学博士说。“在日常生活中,这种想法可能会被忽视。但在医疗保健领域决策往往具有严重的伦理和临床意义,错过这些细微差别可能会对患者产生真正的后果。

        为了探索这一趋势,研究小组使用创造性横向思维谜题和稍作修改的著名医学伦理学案例,测试了几种商业上可用的LLM。在一个例子中,他们改编了经典的“外科医生的困境”,这是一个被广泛引用的20世纪70年代谜题,突出了隐含的性别偏见。在原始版本中,一个男孩他和父亲在一次车祸中受伤,被紧急送往医院,外科医生惊呼道:“我不能给这个男孩做手术,他是我的儿子!”令人费解的是,外科医生是他的母亲,尽管许多人由于性别偏见而不考虑这种可能性。在研究人员的修改版本中,他们明确表示男孩的父亲是外科医生,消除了歧义。即便如此,一些人工智能模型仍然回应说,外科医生必须是男孩的母亲。该错误揭示了LLM如何即使与新信息相矛盾,也要坚持熟悉的模式。

        在另一个测试LLM是否依赖于熟悉模式的例子中,研究人员从一个经典的伦理困境中得出结论,在这个困境中,宗教父母拒绝为他们的孩子进行挽救生命的输血。即使研究人员改变了情景,表明父母已经同意,许多模型仍然建议推翻不再存在的拒绝。

        “我们的研究结果并不表明人工智能没有共同资深通讯作者Girish N.Nadkarni,医学博士,公共卫生硕士,Windreich人工智能与人类健康系主任,Hasso Plattner数字健康研究所所长,Irene和Mount伊坎医学院Arthur M.Fishberg医学教授说西奈山卫生系统首席人工智能官。“当然,这些工具可能非常有用,但它们并非绝对可靠。医生和患者都应该明白,人工智能最好被用作增强临床专业知识的补充,而不是替代,特别是在做出复杂或高风险的决策时。最终,目标是建立更可靠和合乎道德的方法,将人工智能整合到患者护理中。”

        “对暴露的熟悉病例进行简单调整临床医生负担不起的盲点,”主要作者Shelly Soffer医学博士说,他是Davidoff癌症中心血液学研究所的研究员,Rabin医学中心。

        接下来,研究团队计划通过测试更广泛的临床实例来扩展他们的工作。他们还在开发一个“人工智能保证实验室”,以系统地评估不同模型处理现实世界医疗复杂性的能力。

        这篇论文的标题是“医学伦理推理中大型语言模型的陷阱”;维拉·索林,医学博士;Girish N.Nadkarni,医学博士,公共卫生硕士;以及Eyal Klang,医学博士。

        关于西奈山的Windreich人工智能和人类健康部

        由Girish N.Nadkarni,医学博士,公共卫生硕士领导,这是一个在医疗保健中安全、有效和合乎道德地使用人工智能的国际权威机构这是美国医学院的首例,在人工智能和人类健康的交叉领域开创了革命性的进步。

        该部门致力于以负责任、有效、道德和安全的方式利用人工智能来改变研究、临床护理、教育和运营。通过汇集世界级的人工智能专业知识、尖端的基础设施和无与伦比的计算能力,该部门正在推进多尺度、,多模式数据集成,同时简化快速测试和转化为实践的途径。

        该部门受益于西奈山各地的动态合作,包括与西奈山哈索·普拉特纳数字健康研究所的合作,该研究所是德国波茨坦哈索·普拉特纳数字工程研究所和西奈山卫生系统之间的合作伙伴关系,通过推进数据驱动的方法来改善患者护理和健康,从而补充其使命结果。

        这项创新的核心是西奈山著名的伊坎医学院,它是学习和协作的中心枢纽。这种独特的整合使研究所、学术部门、医院和门诊中心能够建立动态的伙伴关系,推动疾病预防的进展,改善复杂疾病的治疗,并在全球范围内提高生活质量。

         2024年,该部门的创新NutriScan AI应用程序,由西奈山卫生系统临床数据科学团队与系内教师合作开发,为西奈山卫生体系赢得了著名的赫斯特健康奖。NutriScan旨在帮助更快地识别和治疗住院患者的营养不良。这种机器学习工具提高了营养不良诊断率和资源利用率,展示了人工智能在医疗保健中的有效应用。

        *西奈山卫生系统成员医院:西奈山医院;布鲁克林西奈山;西奈山晨曦;皇后区西奈山;西奈山-南拿骚;西西奈山;西奈山纽约眼耳医院