揭开医学AI的神秘面纱：可解释AI（XAI）如何使影像诊断透明且可信

目录

• 要点
• 为何这项研究至关重要：医学AI中的黑盒问题
• 医学影像中AI的演变：从1980年代的规则系统到2025年的多模态系统
• 研究方法：本系统评价的实施过程
• XAI技术：解释的四大类别
• XAI在医学影像中的应用
• 主要发现：133项研究揭示了什么
• 挑战与局限：仍存在的阻碍
• 临床意义：这对患者和医生意味着什么
• 建议：实现AI透明的未来之路
• 常见问题解答
• 来源信息

要点

• XAI通过显示影响诊断的影像区域，使AI影像工具变得透明。
• 存在四大类XAI：显著性图、注意力机制、LIME/SHAP以及基于规则的方法。
• 在133项研究中，XAI提高了临床医生的信心，但在标准化和偏差方面面临挑战。
• XAI辅助放射科医生和病理学家，但医生仍对最终治疗决策负责。
• 可解释人工智能通过使人工智能的推理过程可审计来减少错误，并有助于遵守透明度法规。

这项研究为何重要：医疗人工智能中的黑箱问题

在过去十年中，人工智能在医学影像领域取得了显著进展。使用机器学习（ML）和深度学习（DL）的人工智能系统——即从海量数据中学习模式的先进计算机算法——已成为诊断乳腺癌和脑癌、检测视网膜（眼部）疾病以及分割（勾勒）医学影像中结构的宝贵工具 [1–4]。但这里有一个问题：许多此类系统是“黑箱”，它们能产生高度准确的结果，却无法解释其得出结论的方式。

这种缺乏透明度的状况在医疗保健领域极具问题性。当医生决定患者是否需要手术、化疗或完全不接受治疗时，他们需要理解人工智能为何会在扫描图像中标记出可疑病变。缺乏理由的预测很难——甚至在高风险的临床决策中往往不可能——获得信任。

可解释人工智能（XAI）正是为了解决这一问题而开发的。XAI 是一组旨在使人工智能决策过程可见、可理解且可审计的技术。帮助创建互联网的美国政府机构美国国防高级研究计划局（DARPA）将 XAI 的目标定义为：产生既高度准确又可解释的人工智能模型，以便人类用户能够理解、适当信任并有效管理人工智能合作伙伴 [6]。

法律要求也推动了这一转变。欧盟的《通用数据保护条例》（GDPR）要求在将算法决策用于患者护理之前必须保持透明 [7]。同样，美国卫生与公众服务部强调，临床医生必须了解监管标准，才能高效且安全地使用临床决策支持系统（CDSS）。可解释性有助于医生在遵守这些法规的同时做出合理的临床判断。

医学影像中人工智能的演变：从 1980 年代的规则系统到 2025 年的多模态系统

人工智能在医学领域的旅程漫长且充满多次范式转变。本综述通过时间线追溯了这一历史，有助于解释为何可解释性仅在近期变得紧迫。

• 1980 年代：出现了基于规则的专家系统——遵循“如果-那么”规则以提供决策支持的简单算法。它们在设计上具有透明度，但错误率较高。
• 1990 年代：机器学习算法出现，直接从图像数据集中学习模式，而非遵循手工编码的规则。
• 21 世纪初：深度学习到来，在图像分析中实现了前所未有的准确性，并为卷积神经网络（CNNs）铺平了道路——这是一种受视觉皮层启发的专用架构。
• 2012 年：强大的 CNN AlexNet 的突破加速了黑箱模型的主导地位，这些模型取得了顶尖性能，但越来越难以解释。
• 2015 年：可解释性成为独立的研究焦点，催生了可解释人工智能（XAI）这一独立领域。
• 2018 年：Transformer 架构改变了人工智能，使图像解释达到了新的性能和细微程度水平。
• 2022 年：联邦隐私保护型可解释人工智能出现，允许人工智能在不集中患者信息的情况下从分布式数据中学习。
• 2025 年及以后：专家预测将进入一个多模态、可解释的人工智能阶段，其特征是准确性与可解释性之间存在持续的权衡。

这一历史脉络对患者至关重要，因为它解释了人工智能为何同时变得更有力量和更加神秘。早期的人工智能足够简单，可以被完全理解，但不够智能，因此实用性有限。现代人工智能虽然准确性极高，却是不透明的——这正是需要可解释人工智能的原因。

研究方法：本系统评价是如何进行的

由来自巴基斯坦、印度、约旦、也门和韩国机构的研究团队 Ahmed 及其同事 conducted 了一项系统文献综述（SLR），遵循严格的 PRISMA 2020 声明，这是国际公认的证据综合标准。他们的目标是回答四个具体的研究问题：

1. 目前医学影像中使用了哪些可解释人工智能技术，哪种方法最有效？
2. 可解释人工智能（XAI）方法如何应用于放射学和病理学的真实临床用例？
3. AI医学影像系统的可解释性存在哪些挑战和局限性？
4. 在真实的临床环境中，临床医生如何看待基于XAI的诊断工具的实用性、有效性和易用性？

文献检索覆盖了主要的科学数据库，识别出2015年至2025年间发表的记录。筛选过程详尽且分多阶段进行：

• 最初确定了980条记录
• 去除了289条重复记录
• 691条记录进入筛选阶段
• 在筛选过程中排除了209条
• 对482篇全文进行了资格评估
• 全文审查后排除了263篇
• 共考虑了219项研究，最终纳入133项研究

审查团队使用评分者间共识来确保研究选择的可靠性，这意味着多名评审员独立评估研究，并通过讨论解决分歧。最终的133项研究组合构成了本综述所有发现的基础。

本综述的一个显著特点是它与2020年至2025年间发表的早期调查的比较。原文中的表1将七项先前的综述[12, 19–25]与本提出的研究进行了比较。作者指出，早期的综述通常仅涵盖显著性图和注意力机制，对临床工作流的关注极少或没有，并且对监管和伦理问题的重视不足。本综述明确解决了这些空白。

XAI技术：解释的四大类

该综述引入了一种统一的分类法，将可解释性方法组织为四大类。每一类都有其自身的优势、局限性和最佳使用场景。

第一类：显著性图和热力图

显著性图是一种可视化工具，用于突出显示AI模型在做出决策时关注图像的哪些部分。想象一位放射科医生正在查看胸部X光片：显著性图可能会在可疑结节处发出明亮的光，向医生展示AI的注意力确切指向了哪里。这些图使用基于梯度的技术生成，最著名的是梯度加权类激活映射（Grad-CAM），它产生的热力图叠加层即使对于非技术用户来说也很直观。

优势：高度可视化，临床医生可立即理解，并有助于验证AI是否正在查看正确的解剖区域。局限性：它们显示AI关注了哪里，但没有显示为什么该区域被认为异常，并且有时会产生误导性或嘈杂的可视化结果。

第二类：注意力机制

注意力机制——最初为Transformer（许多现代语言模型背后的架构）开发——允许AI动态地对图像的不同部分进行加权。当模型处理医学扫描时，它会学习“关注”（聚焦于）最具诊断意义的区域，并忽略背景噪声。与通常在事后应用的显著性图不同，注意力直接内置于模型的架构中，作为计算的副产品提供解释。

优势：直接集成到现代模型架构（如视觉Transformer，ViT）中，无需额外处理步骤即可提供内在的可解释性。局限性：注意力权重并不总是与真实的因果重要性相符，且难以验证。

第三类：模型无关方法（LIME和SHAP）

模型无关方法与任何AI模型兼容，无论其内部架构如何。其中两个最突出的方法是：

• 局部可解释模型无关解释（LIME）：该技术通过扰动（轻微改变）输入并观察输出的变化，在局部近似AI模型的行为，然后构建一个简单的、可解释的模型，以模拟给定预测附近的复杂模型。
• 沙普利加性解释（SHAP）：基于合作博弈论，SHAP为每个输入特征分配一个重要性得分，代表其对模型预测的贡献。它提供了数学原理支持的解释，说明为何图像的特定区域使模型倾向于某种诊断。

优势：灵活，适用于几乎所有AI模型，且SHAP提供一致性的理论保证。局限性：计算成本高，且对于图像数据而言，解释可能较为抽象且难以可视化。

第四类：基于规则和符号的方法，包括图神经网络（GNN）

基于规则的方法生成人类可读的规则来解释AI的决策——例如，“如果病变边缘不规则且血管丰富，则模型将其分类为恶性”。该综述还将图神经网络（GNN）归入此类：GNN是一种较新的架构，用于建模图像不同区域之间或扫描中不同结构之间的关系，使其特别适合理解解剖和病理连接性。

优势：产生的解释与临床推理非常相似，因此对医生而言直观上易于接受。局限性：规则可能过度简化复杂的诊断场景，且GNN在医学影像中仍是一项新兴技术。

综述指出，用于医学影像的深度学习模型——包括卷积神经网络（CNN）、循环神经网络（RNN）、自编码器、生成对抗网络（GAN）、U-Net模型和视觉Transformer（ViT）——各自带来独特的可解释性挑战 [17, 18]。可解释人工智能（XAI）技术的选择必须与底层模型架构以及所提出的具体临床问题相匹配。

可解释人工智能在医学影像中的应用

综述考察了可解释人工智能在三大主要影像领域的应用，关注每种技术如何映射到临床工作流程中的具体影响点。

放射学：X射线、计算机断层扫描和磁共振成像

放射学是可解释人工智能最成熟的应用领域。综述涵盖了使用X射线、计算机断层扫描（CT）和磁共振成像（MRI）的研究。放射学中的可解释人工智能技术应用于以下任务：

• 病变和异常的自动检测与分割
• 疾病分类（例如，区分良性与恶性发现）
• 基于影像特征的预后预测
• 质量控制——验证AI模型是否关注真实的病理变化，而非伪影或无关的解剖结构

作者强调，在放射学中，显著性图和Grad-CAM热力图尤为有价值，因为放射科医生已经受过阅读视觉图像的训练。当AI高亮的区域与放射科医生的评估一致时，对诊断的信心会大幅增加。当AI高亮了一个意想不到的区域时，它会促使放射科医生重新检查该区域——从而可能发现原本可能被遗漏的病理变化。

病理学：数字图像和全切片图像

病理学因数字扫描技术而发生了变革，该技术将玻璃显微镜载玻片转换为庞大的数字图像——称为全切片图像（WSIs）——可由人工智能进行分析。然而，WSIs 数据量极大（通常包含数十亿像素），使得解释工作极具挑战性。本综述探讨了可解释性人工智能（XAI）如何帮助病理学家信任 AI 辅助的组织样本分析，包括癌症分级和分期。

作者指出，病理学是一个独特的挑战，因为组织分析的粒度要求在多个尺度上进行解释——从细胞层面的特征到组织结构。在放射学中图像层面表现良好的 XAI 技术可能需要针对病理图像的层次化、多尺度特性进行调整。

多模态成像：PET-CT 和 MRI-PET

现代诊断日益结合多种成像模态——例如，将正电子发射断层成像（PET）与 CT 结合（PET-CT），或将 MRI 与 PET 融合（MRI-PET）。这些组合提供了互补的信息：PET 显示代谢活动，而 CT 或 MRI 显示解剖结构。多模态成像通常还与临床数据、基因组学和实验室结果相结合，从而形成复杂的数据景观。

综述强调，多模态 Transformer 和图神经网络（GNNs）在这些应用中极具前景，因为它们能够整合并关联不同类型的数据信息。然而，多模态整合也加剧了可解释性的挑战：解释一个综合了 PET 扫描、MRI、活检报告和基因检测的决策，远比解释单一图像的决策复杂得多。

这一领域代表了 XAI 研究中最前沿的方向之一，综述将其确定为未来工作的关键方向。

主要发现：133 项研究揭示了什么

综述对 133 项研究的综合得出了几个重要结论。

发现 1：XAI 显著增强了临床决策。 综述报告称，XAI 使 AI 模型的高级推理过程对用户可见，从而可测量地提高了临床医生对 AI 辅助决策的信心。当医生理解 AI 系统做出推荐的原因时，他们更有可能将推荐适当纳入患者护理中。

发现 2：XAI 降低了临床责任风险。 通过将自动化诊断工具扎根于伦理框架和临床指南，XAI 有助于降低医疗错误的风险并提供问责基础。医疗保健系统可以审计 AI 决策，记录其理由，并在对患者造成伤害之前识别潜在的偏见或系统性错误 [14]。

发现 3：所有四类 XAI 技术家族均显示出效用，但各有特定优势。 显著性图在放射摄影中表现出色，模型无关方法（如 SHAP）提供最广泛的应用性，注意力机制为现代 Transformer 模型提供集成解释，而基于规则的方法与医生阐述临床推理的方式最为契合。

发现 4：XAI 方法的比较使知情决策成为可能。 综述的比较框架——识别始终有效的技术及其对临床工作流程的影响点——为医疗保健机构决定实施哪些 XAI 方法提供了实用指导。

发现 5：AI 研究与临床实践之间的差距正在缩小，但仍然显著。 虽然已取得令人鼓舞的成果，但综述发现，XAI 在日常临床实践中的系统应用仍然有限。大多数现有研究侧重于孤立的算法或特定的临床应用，而非将其全面整合到实际的临床工作流程中。

挑战与局限：仍存在的障碍

综述确定了在 XAI 完全整合到临床医学之前必须克服的四大类障碍。患者了解这些局限性非常重要，因为它们解释了为什么 AI 系统正在逐步且谨慎地部署。

1. 标准化

目前对于什么是“好”的解释以及如何衡量可解释性，尚无普遍接受的标准。不同的研究使用不同的指标、不同的可视化方法和不同的验证方法，使得跨研究比较结果变得困难。综述特别指出，方法论标准化和不同 XAI 方法的比较有效性受到的关注不足。这种缺乏标准化的情况还延伸到一个显著的空白：允许对技术进行客观比较的一致性可解释性指标的评估。

2. 数据偏见

AI 算法从历史数据中学习，如果这些数据包含偏见——例如，某些人口统计群体、特定成像设备或特定疾病表现的代表性不足——AI 模型将会延续或放大这些偏见。XAI 可以帮助暴露固有的偏见，但无法消除它们。综述呼吁进一步研究如何将数据偏见拟合到适当的分布中，并利用可解释性来检测和纠正有偏见的行为。

3. 临床医生的认知与教育

如果临床医生不信任或无法理解其输出结果，即使是透明度最高的AI系统也毫无用处。该综述发现，文献中尚未充分考察临床医生对基于可解释人工智能（XAI）工具的感知及其实际临床影响。亟需开展研究，探讨医生对XAI技术的看法、其在现实世界中的可用性，以及这些工具如何整合到现有的临床系统中。

4. 复杂的数据整合

现实世界的医疗决策很少仅基于单一影像。它们涉及患者病史、实验室检查结果、基因组数据和临床检查发现——更不用说异构成像设备和格式带来的技术挑战了。将XAI整合到这种多模态、异构的数据环境中，仍然是该领域面临的最复杂挑战之一。

临床意义：这对患者和医生意味着什么

对患者而言，XAI的发展具有几层重要意义。首先，XAI旨在通过降低AI做出不可见、无法解释的错误风险来改善患者安全。当AI系统必须为其结论提供理由时，系统性错误变得可检测且可纠正。

其次，XAI有助于消除数据偏见和不正确的预测，这在AI用于诊断场景时尤为重要。综述指出，XAI“为患者提供了心理上的安慰”[18]——换言之，当患者知道医生使用的是能够解释其推理过程的AI技术时，他们对诊断过程会更有信心。

第三，XAI是实现个性化治疗的关键推动力。通过清晰解释影像中的哪些特征驱动了特定的诊断或预后预测，XAI帮助医生根据每位患者的具体疾病特征量身定制治疗方案。这与向精准医学转变的现代趋势相一致，即决策基于个体患者数据而非人群平均值。

对于医疗系统而言，综述强调，由XAI辅助的基于AI的诊断工具可以在不牺牲准确性的情况下提高放射科医生和病理学家的工作效率。当临床医生理解AI的建议时，他们可以在不失信心的情况下做出更快的决策。

综述还指出了重要的实际问题。病变分割、疾病分类和预后预测的自动化可以帮助临床医生应对繁重的工作量，但这种自动化的引入必须谨慎进行，包括提供充分的培训、透明的期望以及明确的问责结构。

建议：透明AI的未来之路

基于他们的分析，Ahmed及其同事为研究人员、医疗机构和政策制定者提出了几项具体建议。

1. 开发标准化的可解释性指标。该领域需要 universally accepted 的方法来测量和比较不同XAI方法解释的质量。没有这样的标准，证据就无法积累，最佳实践也无法涌现。
2. 创建标准化的XAI报告框架。综述明确提出了未来XAI研究的常规标准化报告框架，确保研究一致地报告其方法、验证方法和临床结果。
3. 将研究重点放在临床医生感知和工作流程整合上。需要更多研究来评估医生实际体验XAI工具的情况——包括其可用性、对决策速度和准确性的影响，以及其与电子健康记录和放射科工作流程的整合。
4. 优先研究多模态数据整合。随着多模态成像（PET-CT、MRI-PET）和影像加临床数据的结合变得越来越普遍，XAI技术必须进化，以解释同时来自多个数据源的决策。
5. 将数据偏见作为首要问题加以解决。XAI研究必须纳入检测、量化和减轻数据偏见的明确策略，而不是将偏见视为事后考虑的因素。
6. 探索更新的架构。综述建议加强对图神经网络（GNNs）和多模态Transformer的关注，这些技术不仅有望在复杂成像任务上取得更好的性能，还具有更高的内在可解释性。
7. 从基础层面将XAI纳入监管框架。综述呼吁进行详细的监管分析，整合FDA许可、欧盟人工智能法案（EU AI Act）和医疗器械法规（MDR）等框架，并通过具体的临床案例说明可解释性要求在实际中如何运作。

最终，作者得出结论，在医学影像中实现稳健的XAI需要三管齐下的努力：综合现有知识、将XAI应用于真实的临床用例，以及直接应对医学图像分析中固有的可解释性挑战。他们指出，他们的综述“确定了研究空白并为稳健的医学影像XAI解决方案铺平了道路”，表明未来的工作应专注于弥合实验室成功与床边实用性之间的剩余差距。

常见问题

医学影像中的可解释人工智能（XAI）是什么？

XAI 代表可解释人工智能。这些技术使 AI 系统能够展示其如何根据医学影像得出诊断结论。与黑盒结果不同，XAI 会突出显示 X 光、CT、MRI 或病理切片中影响决策的区域。这有助于医生理解和信任 AI 的建议。

为什么用于阅片的 AI 需要解释其自身？

AI 可能非常准确，但仍是一个黑盒，即它给出结果却不展示推理过程。在医学领域，医生需要在决定手术或化疗之前了解为何标记某次扫描。GDPR 等法律规则和安全标准也要求透明度，以便检查和信任 AI 的决策。

可解释 AI 如何帮助我的医生为我诊断？

当 AI 在您的扫描图像中突出显示确切的问题区域时，您的医生可以将其与自己的解读进行比较。如果意见一致，信心会增强。如果 AI 指向一个意想不到的位置，您的医生可能会重新检查该区域。这种协作旨在发现可能被遗漏的问题。

可解释 AI 会取代我的放射科医生或病理学家吗？

不会。XAI 旨在支持医生，而非取代他们。综述表明它提高了信心和效率，但最终决定始终由您的临床医生做出。AI 通过提供清晰的解释来协助工作，而您的医生会将这些信息与您的病史、症状和其他检查结果相结合，以规划您的治疗方案。

医学影像中的可解释 AI 是否有任何风险或局限性？

是的。对 133 项研究的综述发现了四个主要挑战：没有衡量解释质量的标准方法；AI 可能继承历史数据中的偏见；部分医生可能不信任或不理解 XAI 的输出；以及将 AI 与多种不同类型的数据结合仍然困难。这些局限性正是 AI 逐步引入的原因。

医学中的“黑盒”是什么意思？

黑盒 AI 是一种给出准确结果但不揭示其推理过程的系统。例如，AI 可能正确标记出扫描图像中的可疑病变，但无法说明原因。在是否需要手术等高风险决策中，缺乏解释的预测很难让医生信任。

可解释 AI 如何提高患者安全？

当 AI 必须为其发现提供理由时，错误更容易被发现和纠正。综述报告指出，XAI 通过将决策建立在伦理和临床指南基础上，降低了临床责任风险。它还有助于消除数据中的偏见，从而减少错误的预测。患者知道 AI 辅助诊断背后的推理过程后，会感到更加放心。

为了获得 AI 辅助影像诊断的第二诊疗意见，我需要携带哪些影像和病理记录？

为了获得 AI 辅助影像诊断的第二诊疗意见，原始影像（X 光、CT、MRI 或全切片病理）至关重要。同时请携带任何可解释 AI 的输出结果，例如显示 AI 用于得出结论的图像区域的显著性图或热力图。由于这些工具突出了 AI 关注的区域，第二位专家可以验证该发现是真实病变还是伪影。请包括放射科或病理学报告，并注明任何已知局限性，如潜在的数据偏见。Diagnostic Detectives Network 提供独立的专家第二诊疗意见。

来源信息

Original Article Title: Explainable artificial intelligence (XAI) in medical imaging: a systematic review of techniques, applications, and challenges.

License: CC BY-NC-ND (open access)

Authors: Ahmed F, Naz NS, Khan S, Rehman AU, Ismael WM, Khan MA.

Journal: BMC Medical Imaging (2026) 26:37

DOI: https://doi.org/10.1186/s12880-025-02118-w

Study Type: Systematic literature review following PRISMA 2020 guidelines

Clinical Trial Number: Not applicable (this was a review of existing literature, not a clinical trial)

Funding/Institutional Affiliations: The authors are affiliated with the National College of Business Administration and Economics (Pakistan), Saveetha Institute of Medical and Technical Sciences (India), Applied Science Private University (Jordan), Chitkara University (India), Azal University for Human Development (Yemen), and Gachon University (Republic of Korea).

这篇患者友好型文章基于发表在开放获取期刊 BMC Medical Imaging 上的同行评审研究。原文根据知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议授权。我们鼓励患者和护理人员就 AI 辅助影像相关问题与医疗保健提供者讨论。