网站 Banner

        西奈山伊坎医学院的研究人员与以色列拉宾医学中心的同事和其他合作者合作进行的一项研究表明，即使是最先进的人工智能 （AI） 模型在面对复杂的医学伦理场景时也会犯出令人惊讶的简单错误。

         研究结果提出了关于如何在医疗保健环境中如何以及何时依赖 ChatGPT 等大型语言模型 （LLM） 的重要问题，报道于7月22日网络版NPJ数字医学[10.1038/s41746-025-01792-y]。

         研究小组的灵感来自丹尼尔·卡尼曼 （Daniel Kahneman） 的《思考，快与慢》一书，该书将快速、直观的反应与较慢的分析推理进行了对比。 据观察，当经典的横向思维谜题得到细微的调整时，大型语言模型 （LLM） 就会步履蹒跚。 基于这一见解，该研究测试了人工智能系统在面对众所周知的道德问题时在这两种模式之间切换的能力被刻意调整的困境。

         “人工智能可以非常强大和高效，但我们的研究表明，它可能会默认为最熟悉或最直观的答案，即使该响应忽略了关键细节，”共同资深作者、伊坎学院 Windreich 人工智能与人类健康系生成式人工智能主任 Eyal Klang 医学博士说 西奈山的医学。 “在日常情况下，这种想法可能会被忽视。 但在医疗保健领域，其中决定通常会带来严重的伦理和临床影响，错过这些细微差别可能会给患者带来真正的后果。

        为了探索这种趋势，研究小组使用创造性的横向思维谜题和稍微修改的知名医学伦理案例相结合的方式测试了几种市售的法学硕士。 在一个例子中，他们改编了经典的“外科医生的困境”，这是一个被广泛引用的 1970 年代谜题，突出了隐性的性别偏见。 在原版中，一个男孩是与父亲在车祸中受伤，被紧急送往医院，外科医生惊呼：“我不能给这个男孩做手术——他是我的儿子！ 不同的是，外科医生是他的母亲，尽管由于性别偏见，许多人不考虑这种可能性。 在研究人员的修改版本中，他们明确指出男孩的父亲是外科医生，消除了歧义。 即便如此，一些AI模型仍然回应说，外科医生一定是男孩的母亲。 该错误揭示了 LLM 如何坚持熟悉的模式，即使与新信息相矛盾。

         在另一个例子中，为了测试法学硕士是否依赖熟悉的模式，研究人员借鉴了一个典型的道德困境，即宗教父母拒绝为他们的孩子输血挽救生命。 即使研究人员改变了场景以声明父母已经同意，许多模型仍然建议推翻不再存在的拒绝。

         “我们的研究结果并不表明人工智能没有在医疗实践中占有一席之地，但它们确实强调了深思熟虑的人类监督的必要性，特别是在需要道德敏感性、细致入微的判断或情商的情况下，“共同资深通讯作者 Girish N 说。 Nadkarni，医学博士，公共卫生硕士，Windreich 人工智能和人类健康系主任，Hasso Plattner 数字健康研究所所长，Irene 和 Dr. 亚瑟· 菲什伯格 伊坎医学院医学教授西奈山卫生系统的首席人工智能官。 “当然，这些工具可能非常有帮助，但它们并非万无一失。 医生和患者都应该明白，人工智能最好用作增强临床专业知识的补充，而不是替代它，特别是在做出复杂或高风险的决策时。 最终，目标是建立更可靠、更合乎道德的方法，将人工智能整合到患者护理中。

         “对暴露的熟悉案例进行简单调整临床医生无法承受的盲点，“主要作者、拉宾医学中心大卫杜夫癌症中心血液学研究所研究员 Shelly Soffer 医学博士说。 “这强调了为什么当我们在患者护理中部署人工智能时，人类监督必须保持核心。”

         接下来，研究团队计划通过测试更广泛的临床实例来扩展他们的工作。 他们还在开发一个“人工智能保证实验室”，以系统地评估不同模型处理现实世界医疗复杂性的能力。

         该论文的标题是“医学伦理推理中大型语言模型的陷阱”。

         该研究的作者是医学博士 Shelly Soffer; 维拉·索林，医学博士; 吉里什 N. Nadkarni，医学博士，公共卫生硕士; 和医学博士 Eyal Klang。

         关于西奈山的 Windreich 人工智能和人类健康部

         由 Girish N. 领导。 Nadkarni，医学博士，公共卫生硕士——在医疗保健中安全、有效和合乎道德地使用人工智能的国际权威——西奈山的温德赖希人工智能和人类健康部是在美国首次 医学院，在人工智能和人类健康交叉领域开创变革性进步。

         该部门致力于以负责任、有效、合乎道德和安全的方式利用人工智能来改变研究、临床护理、教育和运营。 通过汇集世界一流的人工智能专业知识、尖端基础设施和无与伦比的计算能力，该部门正在推进多尺度、多模态数据集成，同时简化快速测试和转化为实践的途径。

         该部门受益于整个西奈山的动态合作，包括与西奈山的 Hasso Plattner 数字健康研究所（德国波茨坦的 Hasso Plattner 数字工程研究所和西奈山卫生系统之间的合作伙伴关系）——通过推进数据驱动来补充其使命 改善患者护理和健康的方法结果。

         这项创新的核心是著名的西奈山伊坎医学院，它是学习和协作的中心枢纽。 这种独特的整合实现了机构、学术部门、医院和门诊中心之间的动态合作伙伴关系，推动了疾病预防的进步，改善了复杂疾病的治疗，并在全球范围内提高了生活质量。

         2024 年，该部门的创新 NutriScan AI 应用程序，由西奈山卫生系统临床数据科学团队与系教师合作开发，为西奈山卫生系统赢得了著名的赫斯特健康奖。 NutriScan 旨在促进更快地识别和治疗住院患者的营养不良。 这种机器学习工具提高了营养不良诊断率和资源利用率，展示了人工智能在医疗保健中的有效应用。

         * 西奈山卫生系统成员医院：西奈山医院; 布鲁克林西奈山; 西奈山晨兴; 西奈山皇后区; 南拿骚西奈山; 西奈山西; 和西奈山纽约眼耳医院