Entmystifizierung medizinischer KI: Wie erklärbare KI (XAI) die bildgebende Diagnose transparent und vertrauenswürdig macht

Inhaltsverzeichnis

• Wichtige Punkte
• Warum diese Forschung wichtig ist: Das Black-Box-Problem in der medizinischen KI
• Die Entwicklung von KI in der medizinischen Bildgebung: Von Regeln in den 1980er Jahren zu multimodalen Systemen im Jahr 2025
• Studiendesign: Wie diese systematische Übersichtsarbeit durchgeführt wurde
• XAI-Techniken: Die vier Kategorien der Erklärungen
• Anwendungen von XAI in der medizinischen Bildgebung
• Wichtige Ergebnisse: Was 133 Studien aufzeigen
• Herausforderungen und Einschränkungen: Was noch im Weg steht
• Klinische Implikationen: Was dies für Patienten und Ärzte bedeutet
• Empfehlungen: Der Weg zu transparenter KI
• Häufig gestellte Fragen
• Quelleninformationen

Wichtige Punkte

• XAI macht KI-gestützte Bildgebungswerkzeuge transparent, indem es zeigt, welche Bildbereiche die Diagnose beeinflusst haben.
• Es gibt vier Kategorien von XAI: Saliency Maps, Aufmerksamkeitsmechanismen, LIME/SHAP und regelbasierte Methoden.
• In 133 Studien hinweg erhöhte XAI das Vertrauen der Kliniker, sah sich jedoch mit Herausforderungen bei der Standardisierung und Verzerrung konfrontiert.
• XAI unterstützt Radiologen und Pathologen, doch die Ärzte tragen weiterhin die Verantwortung für die endgültigen Behandlungsentscheidungen.
• Erklärbare KI reduziert Fehler, indem sie die Entscheidungsfindung der KI nachvollziehbar macht, und hilft bei der Einhaltung von Transparenzvorschriften.

Warum diese Forschung wichtig ist: Das Black-Box-Problem in der medizinischen KI

In den letzten Jahrzehnten hat die künstliche Intelligenz (KI) bemerkenswerte Fortschritte in der medizinischen Bildgebung erzielt. KI-Systeme, die maschinelles Lernen (ML) und Deep Learning einsetzen — fortschrittliche Computeralgorithmen, die Muster aus großen Datenmengen lernen — sind zu wertvollen Werkzeugen für die Diagnose von Brustkrebs und Hirntumor geworden, zur Erkennung von Netzhauterkrankungen (Augenerkrankungen) sowie zur Segmentierung (Abgrenzung) von Strukturen in medizinischen Bildern [1–4]. Doch es gibt einen Haken: Viele dieser Systeme sind „Black Boxes“, die hochgenaue Ergebnisse liefern, ohne zu erklären, wie sie zu ihren Schlussfolgerungen gelangen.

Dieser Mangel an Transparenz ist im Gesundheitswesen höchst problematisch. Wenn ein Arzt entscheidet, ob ein Patient eine Operation, eine Chemotherapie oder gar keine Behandlung benötigt, muss er verstehen, warum die KI einen verdächtigen Herd in einem Scan markiert hat. Eine Vorhersage ohne Begründung ist in klinischen Entscheidungen mit hohen Risiken schwer — und oft unmöglich — zu vertrauen.

Erklärbare KI (XAI) wurde entwickelt, um dieses Problem zu lösen. XAI umfasst eine Reihe von Techniken, die darauf abzielen, die Entscheidungsprozesse der KI sichtbar, verständlich und nachvollziehbar zu machen. Die Defense Advanced Research Projects Agency (DARPA), die US-amerikanische Regierungsbehörde, die maßgeblich zur Entwicklung des Internets beigetragen hat, definiert das Ziel von XAI als die Erstellung von KI-Modellen, die sowohl hochgenau als auch interpretierbar sind, damit menschliche Nutzer sie verstehen, angemessen vertrauen und effektiv steuern können [6].

Auch gesetzliche Anforderungen treiben diese Entwicklung voran. Die Datenschutz-Grundverordnung (GDPR) der Europäischen Union verlangt, dass algorithmische Entscheidungsprozesse transparent sein müssen, bevor sie in der Patientenversorgung eingesetzt werden [7]. Ebenso betont das US-Gesundheitsministerium (Department of Health and Human Services), dass Kliniker die regulatorischen Standards verstehen müssen, um Clinical Decision Support Systems (CDSS) effizient und sicher nutzen zu können. Erklärbarkeit hilft Ärzten, fundierte klinische Urteile zu fällen und dabei die Einhaltung dieser Vorschriften zu gewährleisten.

Die Entwicklung der KI in der medizinischen Bildgebung: Von den Regeln der 1980er Jahre bis zu multimodalen Systemen im Jahr 2025

Der Weg der KI in der Medizin war lang und von mehreren Paradigmenwechseln geprägt. Der Überblick verfolgt diese Geschichte anhand einer Zeitleiste, die hilft zu verstehen, warum Erklärbarkeit erst in jüngster Zeit zu einem dringenden Thema geworden ist.

• Die 1980er Jahre: Regelbasierte Expertensysteme entstanden — einfache Algorithmen, die auf Wenn-Dann-Regeln für die Entscheidungsunterstützung folgten. Sie waren von Natur aus transparent, begingen jedoch viele Fehler.
• Die 1990er Jahre: Algorithmen des maschinellen Lernens wurden entwickelt, die Muster direkt aus Bilddatensätzen lernten, anstatt sich an manuell codierte Regeln zu halten.
• Anfang der 2000er Jahre: Das Deep Learning zog ein und erzielte eine beispiellose Genauigkeit in der Bildanalyse, was den Weg für konvolutionelle neuronale Netze (CNNs) ebnete — spezialisierte Architekturen, die vom visuellen Kortex inspiriert sind.
• 2012: Der Durchbruch von AlexNet, einem leistungsstarken CNN, beschleunigte die Dominanz von Black-Box-Modellen, die zwar Spitzenleistungen erbrachten, aber zunehmend schwerer zu interpretieren waren.
• 2015: Interpretierbarkeit wurde zu einem eigenen Forschungsschwerpunkt und führte zur Entstehung des unabhängigen Feldes der XAI.
• 2018: Transformer-Architekturen revolutionierten die KI und ermöglichten neue Leistungsstufen und Feinheiten in der Bildinterpretation.
• 2022: Federated Privacy-Preserving XAI entstand, wodurch KI aus verteilten Daten lernen konnte, ohne Patientendaten zu zentralisieren.
• 2025 und darüber hinaus: Experten sagen eine Phase multimodaler, interpretierbarer KI voraus, die durch einen anhaltenden Zielkonflikt zwischen Genauigkeit und Erklärbarkeit gekennzeichnet ist.

Dieser historische Bogen ist für Patienten relevant, da er erklärt, warum KI gleichzeitig leistungsfähiger und mysteriöser geworden ist. Frühe KI war einfach genug, um vollständig verstanden zu werden, aber nicht intelligent genug, um sehr nützlich zu sein. Moderne KI ist hochgenau, aber intransparent — genau deshalb ist XAI erforderlich.

Studienmethoden: Wie diese systematische Übersichtsarbeit durchgeführt wurde

Das Forschungsteam — Ahmed und Kollegen aus Institutionen in Pakistan, Indien, Jordanien, Jemen und Südkorea — führte eine systematische Literaturübersicht (SLR) gemäß den strengen PRISMA-2020-Leitlinien durch, dem international anerkannten Standard für die Synthese von Evidenz. Ihr Ziel war es, vier spezifische Forschungsfragen zu beantworten:

1. Welche XAI-Techniken werden derzeit in der medizinischen Bildgebung eingesetzt, und welche Methoden sind am effektivsten?
2. Wie werden XAI-Ansätze in der Radiologie und Pathologie für reale klinische Anwendungsfälle eingesetzt?
3. Welche Herausforderungen und Einschränkungen bestehen bei der Interpretierbarkeit von KI-Systemen für die medizinische Bildgebung?
4. Wie schätzen Kliniker die Nützlichkeit, Wirksamkeit und Benutzerfreundlichkeit von XAI-basierten Diagnosewerkzeugen in realen klinischen Umgebungen ein?

Die Literaturrecherche umfasste wichtige wissenschaftliche Datenbanken und identifizierte zwischen 2015 und 2025 veröffentlichte Aufzeichnungen. Der Sichtungsprozess war umfassend und mehrstufig:

• 980 Aufzeichnungen wurden zunächst identifiziert
• 289 Duplikate wurden entfernt
• 691 Aufzeichnungen gingen in die Sichtung ein
• 209 wurden während der Sichtung ausgeschlossen
• 482 Volltexte wurden auf ihre Eignung überprüft
• 263 wurden nach der Überprüfung der Volltexte ausgeschlossen
• 219 Studien wurden berücksichtigt, die letztlich 133 einbezogene Studien ergaben

Das Review-Team nutzte den Konsens zwischen den Bewertern, um die Zuverlässigkeit der Studieneauswahl zu gewährleisten. Das bedeutet, dass mehrere Gutachter die Studien unabhängig voneinander bewerteten und Unstimmigkeiten durch Diskussionen lösten. Der endgültige Korpus von 133 Studien bildete die Grundlage aller Erkenntnisse in dieser Übersichtsarbeit.

Ein bemerkenswertes Merkmal dieser Übersichtsarbeit ist der Vergleich mit früheren, zwischen 2020 und 2025 veröffentlichten Übersichtsarbeiten. Tabelle 1 im Originalpapier vergleicht sieben frühere Übersichtsarbeiten [12, 19–25] mit der vorgestellten Studie. Die Autoren weisen darauf hin, dass frühere Übersichtsarbeiten oft nur Saliency Maps und Aufmerksamkeitsmechanismen abdeckten, einen geringen oder keinen Fokus auf den klinischen Arbeitsablauf hatten und regulatorischen sowie ethischen Fragen wenig Aufmerksamkeit schenkten. Diese Übersichtsarbeit adressiert diese Lücken explizit.

XAI-Techniken: Die vier Familien der Erklärungen

Die Übersichtsarbeit stellt eine einheitliche Taxonomie vor, die Methoden zur Erklärbarkeit in vier große Familien organisiert. Jede Familie hat ihre eigenen Stärken, Einschränkungen und optimalen Anwendungsszenarien.

Familie 1: Saliency Maps und Heatmaps

Saliency Maps sind visuelle Werkzeuge, die hervorheben, auf welche Teile eines Bildes sich das KI-Modell bei seiner Entscheidungsfindung konzentriert hat. Stellen Sie sich einen Radiologen vor, der ein Röntgenbild der Brust betrachtet: Eine Saliency Map könnte über einem verdächtigen Knoten hell leuchten und dem Arzt genau zeigen, wohin die Aufmerksamkeit des KI-Modells gerichtet war. Diese Karten werden mit gradientenbasierten Techniken erstellt, insbesondere Gradient-weighted Class Activation Mapping (Grad-CAM), das Heatmap-Overlays erzeugt, die auch für technisch nicht versierte Nutzer intuitiv verständlich sind.

Stärken: Hochgradig visuell, sofort von Klinikern interpretierbar und nützlich zur Überprüfung, ob das KI-Modell die korrekte anatomische Region betrachtet. Einschränkungen: Sie zeigen wo das KI-Modell geschaut hat, aber nicht warum diese Region als abnormal eingestuft wurde, und sie können manchmal irreführende oder verrauschte Visualisierungen erzeugen.

Familie 2: Aufmerksamkeitsmechanismen

Aufmerksamkeitsmechanismen — ursprünglich für Transformer entwickelt, die Architektur hinter vielen modernen Sprachmodellen — ermöglichen es der KI, verschiedene Teile eines Bildes dynamisch zu gewichten. Wenn ein Modell einen medizinischen Scan verarbeitet, lernt es, sich auf die diagnostisch relevantesten Regionen zu „konzentrieren“ (Attention) und Hintergrundrauschen zu ignorieren. Im Gegensatz zu Saliency Maps, die oft nachträglich angewendet werden, ist die Aufmerksamkeit fest in die Architektur des Modells integriert und liefert Erklärungen als Nebenprodukt der Berechnung.

Vorteile: Direkte Integration in moderne Modellarchitekturen wie Vision Transformer (ViTs), die eine inhärente Interpretierbarkeit ohne zusätzliche Verarbeitungsschritte bieten. Einschränkungen: Aufmerksamkeitsgewichtungen entsprechen nicht immer der tatsächlichen kausalen Bedeutung und können schwer zu validieren sein.

Familie 3: Modell-agnostische Methoden (LIME und SHAP)

Modell-agnostische Methoden funktionieren mit jedem KI-Modell, unabhängig von seiner internen Architektur. Zwei der prominentesten sind:

• Lokale interpretierbare modell-agnostische Erklärungen (LIME): Diese Technik approximiert das Verhalten des KI-Modells lokal, indem sie den Eingabewert leicht verändert und beobachtet, wie sich die Ausgabe ändert, und erstellt dann ein einfaches, interpretierbares Modell, das das komplexe Modell in der Nähe einer bestimmten Vorhersage nachahmt.
• Shapley Additive Explanations (SHAP): Basierend auf der kooperativen Spieltheorie weist SHAP jedem Eingabemerkmal eine Wichtigkeitszahl zu, die seinen Beitrag zur Vorhersage des Modells darstellt. Es liefert mathematisch fundierte Erklärungen dafür, warum eine bestimmte Bildregion das Modell zu einer bestimmten Diagnose geführt hat.

Vorteile: Flexibel, anwendbar auf nahezu jedes KI-Modell, und SHAP bietet theoretische Garantien der Konsistenz. Einschränkungen: Rechenintensiv, und die Erklärungen können abstrakt sein und für Bilddaten schwer zu visualisieren.

Familie 4: Regelbasierte und symbolische Methoden, einschließlich Graph Neural Networks (GNNs)

Regelbasierte Methoden generieren für Menschen lesbare Regeln, die KI-Entscheidungen erklären — zum Beispiel: „Wenn die Läsion unregelmäßige Ränder UND eine hohe Vaskularisation aufweist, klassifiziert das Modell sie als bösartig.“ Die Übersichtsarbeit schließt auch Graph Neural Networks (GNNs) in diese Familie ein: GNNs sind eine neuere Architektur, die Beziehungen zwischen verschiedenen Regionen eines Bildes oder zwischen verschiedenen Strukturen in einer Aufnahme modelliert, was sie besonders gut für das Verständnis anatomischer und pathologischer Konnektivität geeignet macht.

Vorteile: Erzeugt Erklärungen, die der klinischen Argumentation stark ähneln, wodurch sie für Ärzte intuitiv akzeptabel sind. Einschränkungen: Regeln können komplexe diagnostische Szenarien vereinfachen, und GNNs sind in der medizinischen Bildgebung noch eine aufstrebende Technologie.

Die Übersichtsarbeit stellt fest, dass Deep-Learning-Modelle, die in der medizinischen Bildverarbeitung eingesetzt werden — einschließlich CNNs, Recurrent Neural Networks (RNNs), Autoencodern, Generative Adversarial Networks (GANs), U-Net-Modellen und Vision Transformern (ViTs) — jeweils einzigartige Herausforderungen für die Interpretierbarkeit mit sich bringen [17, 18]. Die Wahl der XAI-Technik muss zur zugrunde liegenden Modellarchitektur und zur spezifischen klinischen Fragestellung passen.

Anwendungen von XAI in der medizinischen Bildgebung

Die Übersichtsarbeit untersucht XAI-Anwendungen in drei großen Bildgebungsdomänen und berücksichtigt dabei, wie jede Technik auf spezifische Einflusspunkte im klinischen Arbeitsablauf abbildet.

Radiologie: Röntgen, CT und MRT

Die Radiologie ist der ausgereifteste Anwendungsbereich für XAI. Die Übersichtsarbeit umfasst Studien, die Röntgen, Computertomographie (CT) und Magnetresonanztomographie (MRT) verwenden. XAI-Techniken in der Radiologie werden für Aufgaben wie folgende eingesetzt:

• Automatisierte Erkennung und Segmentierung von Läsionen und Auffälligkeiten
• Klassifizierung von Erkrankungen (zum Beispiel die Unterscheidung zwischen gutartigen und bösartigen Befunden)
• Prognosevorhersage basierend auf bildgebenden Merkmalen
• Qualitätskontrolle — Überprüfung, ob das KI-Modul sich auf echte Pathologien konzentriert und nicht auf Artefakte oder unzusammenhängende anatomische Strukturen

Die Autoren betonen, dass in der Radiologie Saliency Maps und Grad-CAM-Wärmekarten besonders wertvoll sind, da Radiologen bereits im Lesen visueller Bilder geschult sind. Wenn die vom KI-Modell hervorgehobene Region mit der eigenen Einschätzung eines Radiologen übereinstimmt, steigt das Vertrauen in die Diagnose erheblich. Wenn die KI eine unerwartete Region hervorhebt, veranlasst dies den Radiologen, diesen Bereich erneut zu untersuchen — was möglicherweise Pathologien aufdecken kann, die sonst übersehen worden wären.

Pathologie: Digitale und Whole-Slide-Bilder

Die Pathologie wurde durch die digitale Scantechnologie transformiert, die Glasmikroskopobjektträger in massive digitale Bilder — sogenannte Whole-Slide-Images (WSIs) — umwandelt, die von der KI analysiert werden können. WSIs sind jedoch enorm groß (oft Milliarden von Pixeln), was die Erklärung besonders herausfordernd macht. Die Übersichtsarbeit untersucht, wie XAI Pathologen dabei hilft, der KI-gestützten Analyse von Gewebeproben zu vertrauen, einschließlich der Krebsgradierung und -stadieneinteilung.

Die Autoren weisen darauf hin, dass die Pathologie eine besondere Herausforderung darstellt, da die Granularität der Gewebeanalyse Erklärungen auf mehreren Ebenen erfordert — von zellulären Merkmalen bis zur Gewebearchitektur. XAI-Techniken, die in der Radiologie auf Bildebene gut funktionieren, müssen möglicherweise an die hierarchische und multiscale-Natur von Pathologiebildern angepasst werden.

Multimodale Bildgebung: PET-CT und MRI-PET

In der modernen Diagnostik werden zunehmend mehrere Bildgebungsmodalitäten kombiniert — beispielsweise Positronenemissionstomographie (PET) in Kombination mit CT (PET-CT) oder MRT, die mit PET fusioniert wird (MRI-PET). Diese Kombinationen liefern komplementäre Informationen: PET zeigt den Stoffwechsel an, während CT oder MRT die anatomische Struktur darstellt. Multimodale Bildgebung wird dann oft mit klinischen Daten, Genomik und Laborergebnissen kombiniert, was eine komplexe Datenlandschaft schafft.

Die Übersichtsarbeit hebt multimodale Transformer und GNNs als besonders vielversprechend für diese Anwendungen hervor, da sie Informationen aus verschiedenen Datentypen integrieren und in Beziehung setzen können. Die multimodale Integration verschärft jedoch auch die Herausforderung der Interpretierbarkeit: Die Erklärung einer Entscheidung, die einen PET-Scan, eine MRT, einen Biopsiebericht und Gentests synthetisiert, ist weitaus komplexer als die Erklärung einer Einzelbildentscheidung.

Dieser Bereich stellt eine der neuesten Fronten in der XAI-Forschung dar, und die Übersichtsarbeit identifiziert ihn als eine kritische Richtung für künftige Arbeiten.

Wichtige Erkenntnisse: Was 133 Studien offenbaren

Die Synthese von 133 Studien in der Übersichtsarbeit führt zu mehreren wichtigen Schlussfolgerungen.

Erkenntnis 1: XAI verbessert die klinische Entscheidungsfindung erheblich. Die Übersichtsarbeit berichtet, dass XAI die hochrangige Argumentation von KI-Modellen für Nutzer leicht zugänglich macht, was das Vertrauen der Kliniker in KI-gestützte Entscheidungen messbar erhöht. Wenn Ärzte verstehen, warum ein KI-System eine Empfehlung ausspricht, sind sie eher bereit, diese Empfehlung angemessen in die Patientenversorgung zu integrieren.

Erkenntnis 2: XAI reduziert die klinische Haftung. Indem automatisierte Diagnosewerkzeuge in ethische Rahmenwerke und klinische Leitlinien eingebettet werden, hilft XAI, das Risiko medizinischer Fehler zu senken und eine Grundlage für die Rechenschaftspflicht zu schaffen. Gesundheitssysteme können KI-Entscheidungen überprüfen, deren Begründung dokumentieren und potenzielle Verzerrungen oder systematische Fehler identifizieren, bevor sie Patienten schaden [14].

Erkenntnis 3: Alle vier Familien von XAI-Techniken haben ihre Nützlichkeit unter Beweis gestellt, aber jede hat spezifische Stärken. Saliency Maps (Aufmerksamkeitskarten) glänzen in der Röntgenbildgebung, modellagnostische Methoden wie SHAP bieten die breiteste Anwendbarkeit, Aufmerksamkeitsmechanismen liefern integrierte Erklärungen für moderne Transformer-Modelle und regelbasierte Methoden orientieren sich am engsten an der Art und Weise, wie Ärzte klinische Argumentationen formulieren.

Erkenntnis 4: Der Vergleich von XAI-Methoden ermöglicht informierte Entscheidungen. Der Vergleichsrahmen der Übersichtsarbeit — der konsistent effektive Techniken und deren Einflusspunkte im klinischen Arbeitsablauf identifiziert — bietet praktische Leitlinien für Gesundheitseinrichtungen bei der Entscheidung, welche XAI-Methoden implementiert werden sollen.

Erkenntnis 5: Die Lücke zwischen KI-Forschung und klinischer Praxis schließt sich, bleibt aber erheblich. Obwohl vielversprechende Ergebnisse erzielt wurden, findet die Übersichtsarbeit, dass die systematische Anwendung von XAI im täglichen klinischen Alltag noch begrenzt ist. Die meisten bestehenden Studien konzentrieren sich auf isolierte Algorithmen oder spezifische klinische Anwendungen statt auf eine umfassende Integration in tatsächliche klinische Arbeitsabläufe.

Herausforderungen und Einschränkungen: Was noch im Weg steht

Die Übersichtsarbeit identifiziert vier große Kategorien von Hindernissen, die überwunden werden müssen, bevor XAI vollständig in die klinische Medizin integriert werden kann. Es ist wichtig, dass Patienten diese Einschränkungen verstehen, da sie erklären, warum KI-Systeme nur schrittweise und vorsichtig eingesetzt werden.

1. Standardisierung

Derzeit gibt es keinen allgemein akzeptierten Standard dafür, was eine "gute" Erklärung ausmacht oder wie man Interpretierbarkeit misst. Verschiedene Studien verwenden unterschiedliche Metriken, verschiedene Visualisierungsansätze und verschiedene Validierungsmethoden, was den Vergleich von Ergebnissen zwischen Studien erschwert. Die Übersichtsarbeit weist speziell darauf hin, dass methodische Standardisierung und vergleichende Wirksamkeit verschiedener XAI-Methoden unzureichend beachtet wurden. Dieser Mangel an Standardisierung erstreckt sich auch auf eine bemerkenswerte Lücke: die Bewertung konsistenter Interpretierbarkeitsmetriken, die einen objektiven Vergleich von Techniken ermöglichen würden.

2. Datenverzerrung

KI-Algorithmen lernen aus historischen Daten, und wenn diese Daten Verzerrungen enthalten — beispielsweise die Unterrepräsentation bestimmter demografischer Gruppen, spezifischer Bildgebungsgeräte oder bestimmter Krankheitsmanifestationen — wird das KI-Modell diese Verzerrungen perpetuieren oder verstärken. XAI kann helfen, inhärente Verzerrungen aufzudecken, sie jedoch nicht zu beseitigen. Die Übersichtsarbeit fordert weitere Forschung zur Anpassung von Datenverzerrungen an geeignete Verteilungen und den Einsatz von Interpretierbarkeit, um verzerrtes Verhalten zu erkennen und zu korrigieren.

3. Klinische Wahrnehmungen und Ausbildung

Selbst das transparenteste KI-System ist nutzlos, wenn Kliniker es nicht vertrauen oder seine Ergebnisse nicht verstehen. Die Übersichtsarbeit hat ergeben, dass die Wahrnehmung von XAI-basierten Tools durch Kliniker und deren pragmatischer klinischer Nutzen in der Literatur nicht ausreichend untersucht wurden. Es besteht Bedarf an Studien, die die Ansichten von Ärzten zu XAI-Technologien, ihre praktische Anwendbarkeit im Alltag und die Integration dieser Tools in bestehende klinische Systeme untersuchen.

4. Komplizierte Datenintegration

Klinische Entscheidungen basieren in der Realität selten auf einem einzelnen Bild. Sie beinhalten die Krankengeschichte, Laborergebnisse, genomische Daten und klinische Untersuchungsbefunde – ganz zu schweigen von den technischen Herausforderungen durch heterogene Bildgebungsgeräte und -formate. Die Integration von XAI in diese multimodale, heterogene Datenlandschaft bleibt eine der komplexesten Herausforderungen für das Fachgebiet.

Klinische Implikationen: Was dies für Patienten und Ärzte bedeutet

Für Patienten hat das Wachstum von XAI mehrere bedeutende Auswirkungen. Vor allem soll XAI die Patientensicherheit verbessern, indem es das Risiko verringert, dass ein KI-Fehler unsichtbar und unerklärlich bleibt. Wenn ein KI-System seine Schlussfolgerungen begründen muss, werden systematische Fehler erkennbar und korrigierbar.

Zweitens hilft XAI dabei, Voreingenommenheit in Daten und falsche Vorhersagen zu beseitigen, was insbesondere im diagnostischen Kontext wichtig ist. Die Übersichtsarbeit stellt fest, dass XAI "ein beruhigendes Gefühl für den Geist der Patienten bietet" [18] – anders ausgedrückt: Wenn Patienten wissen, dass ihr Arzt eine KI-Technologie einsetzt, die ihre Schlussfolgerungen erklären kann, können sie im Diagnoseprozess mehr Vertrauen fassen.

Drittens ist XAI ein entscheidender Ermöglicher der personalisierten Behandlung. Indem es klar erklärt, welche Merkmale eines Bildes eine bestimmte Diagnose oder Prognosevorhersage antreiben, hilft XAI Ärzten, Behandlungspläne auf die spezifischen Krankheitsmerkmale jedes Patienten abzustimmen. Dies entspricht dem modernen Trend hin zur Präzisionsmedizin, bei der Entscheidungen auf individuellen Patientendaten und nicht auf Populationsdurchschnitten basieren.

Für Gesundheitssysteme betont die Übersichtsarbeit, dass KI-basierte Diagnosewerkzeuge – unterstützt durch XAI – die Arbeitseffizienz von Radiologen und Pathologen steigern können, ohne dabei an Genauigkeit einzubüßen. Wenn Kliniker KI-Empfehlungen verstehen, können sie schnellere Entscheidungen treffen, ohne ihr Vertrauen zu verlieren.

Die Übersichtsarbeit weist auch auf wichtige praktische Probleme hin. Die Automatisierung der Läsionssegmentierung, Krankheitsklassifizierung und Prognosevorhersage kann Klinikern helfen, mit hohen Arbeitslasten umzugehen, doch diese Automatisierung muss sorgfältig eingeführt werden, mit angemessener Schulung, transparenten Erwartungen und klaren Verantwortungsstrukturen.

Empfehlungen: Der Weg nach vorn für transparente KI

Basierend auf ihrer Analyse bieten Ahmed und Kollegen mehrere konkrete Empfehlungen für Forscher, Gesundheitseinrichtungen und politische Entscheidungsträger.

1. Entwickeln Sie standardisierte Interpretierbarkeitsmetriken. Das Fachgebiet benötigt allgemein anerkannte Methoden zur Messung und zum Vergleich der Qualität von Erklärungen über verschiedene XAI-Methoden hinweg. Ohne solche Standards können sich keine evidenzbasierten Erkenntnisse ansammeln und keine Best Practices entwickeln.
2. Erstellen Sie standardisierte XAI-Berichterstattungsrahmen. Die Übersichtsarbeit schlägt explizit einen regelmäßigen, standardisierten Berichterstattungsrahmen für zukünftige XAI-Forschung vor, um sicherzustellen, dass Studien ihre Methoden, Validierungsansätze und klinischen Ergebnisse konsistent berichten.
3. Fokussieren Sie die Forschung auf die Wahrnehmung durch Kliniker und die Workflow-Integration. Es sind mehr Studien erforderlich, die bewerten, wie Ärzte XAI-Tools tatsächlich erleben – ihre Benutzerfreundlichkeit, ihren Einfluss auf Geschwindigkeit und Genauigkeit der Entscheidungsfindung sowie ihre Integration in elektronische Patientenakten und radiologische Workflows.
4. Priorisieren Sie die Forschung zur multimodalen Datenintegration. Da multimodale Bildgebung (PET-CT, MRI-PET) und kombinierte Bilddaten plus klinische Daten zunehmend verbreitet sind, müssen XAI-Techniken weiterentwickelt werden, um Entscheidungen zu erklären, die gleichzeitig auf mehreren Datenquellen basieren.
5. Adressieren Sie Datenverzerrung als erstklassiges Problem. Die XAI-Forschung muss explizite Strategien zur Erkennung, Quantifizierung und Minderung von Datenverzerrung einbeziehen, anstatt Verzerrung als nachrangiges Thema zu behandeln.
6. Erkunden Sie neuere Architekturen. Die Übersichtsarbeit empfiehlt, Graph Neural Networks (GNNs) und multimodale Transformer stärker in den Fokus zu rücken, die nicht nur eine bessere Leistung bei komplexen Bildgebungsaufgaben versprechen, sondern auch eine inhärentere Interpretierbarkeit bieten.
7. Integrieren Sie XAI von Grund auf in regulatorische Rahmenwerke. Die Übersichtsarbeit fordert eine detaillierte regulatorische Analyse, die Rahmenwerke wie FDA-Zulassungen, den EU AI Act und die Medizinprodukteverordnung (MDR) integriert, mit konkreten klinischen Fallbeispielen, die veranschaulichen, wie Anforderungen an die Erklärbarkeit in der Praxis funktionieren.

Letztlich kommen die Autoren zu dem Schluss, dass das Erreichen einer robusten XAI in der medizinischen Bildgebung eine dreifache Anstrengung erfordert: die Synthese aktuellen Wissens, die Anwendung von XAI auf reale klinische Anwendungsfälle und die direkte Auseinandersetzung mit den Interpretierbarkeits-Herausforderungen, die der medizinischen Bildanalyse inhärent sind. Sie stellen fest, dass ihre Übersichtsarbeit "Forschungslücken identifiziert und den Weg für robuste medizinische Bildgebungs-XAI-Lösungen ebnet", was darauf hindeutet, dass künftige Arbeiten darauf fokussieren sollten, die verbleibende Lücke zwischen Laborerfolgen und klinischer Anwendbarkeit am Patientenbett zu schließen.

Häufig gestellte Fragen

Was ist erklärbare KI (XAI) in der medizinischen Bildgebung?

XAI steht für erklärbare künstliche Intelligenz. Dabei handelt es sich um Techniken, die KI-Systemen ermöglichen, darzulegen, warum sie zu einer Diagnose aus einem medizinischen Bild gekommen sind. Statt eines Black-Box-Ergebnisses hebt XAI hervor, welche Bereiche eines Röntgenbildes, CT, MRT oder Pathologiepräparats die Entscheidung beeinflusst haben. Dies hilft Ärzten, die Empfehlung der KI zu verstehen und ihr zu vertrauen.

Warum muss die zur Auswertung von Scans verwendete KI ihre Entscheidungen erklären?

KI kann sehr genau sein, aber dennoch eine Black Box darstellen, das heißt, sie liefert ein Ergebnis, ohne ihre Schlussfolgerungen offenzulegen. In der Medizin müssen Ärzte wissen, warum ein Scan als auffällig eingestuft wurde, bevor sie sich für eine Operation oder Chemotherapie entscheiden. Rechtliche Vorschriften wie die DSGVO und Sicherheitsstandards verlangen zudem Transparenz, damit KI-Entscheidungen überprüft und vertraut werden können.

Wie kann erklärbare KI meinem Arzt bei der Diagnosestellung helfen?

Wenn die KI den genauen betroffenen Bereich in Ihrem Scan hervorhebt, kann Ihr Arzt dies mit seiner eigenen Einschätzung vergleichen. Wenn beide übereinstimmen, wächst das Vertrauen. Wenn die KI auf eine unerwartete Stelle hinweist, kann Ihr Arzt diesen Bereich erneut untersuchen. Diese Zusammenarbeit zielt darauf ab, Probleme zu erkennen, die sonst möglicherweise übersehen würden.

Ersetzt erklärbare KI meinen Radiologen oder Pathologen?

Nein. XAI wurde entwickelt, um Ärzte zu unterstützen, nicht zu ersetzen. Die Übersicht zeigt, dass sie das Vertrauen und die Effizienz steigert, aber die endgültigen Entscheidungen liegen stets bei Ihrem behandelnden Arzt. KI unterstützt, indem sie klare Erklärungen liefert, während Ihr Arzt diese mit Ihrer Krankengeschichte, Ihren Symptomen und weiteren Untersuchungen kombiniert, um Ihre Behandlung zu planen.

Gibt es Risiken oder Einschränkungen bei der erklärbaren KI in der Bildgebung?

Ja. Die Auswertung von 133 Studien ergab vier Hauptherausforderungen: Es gibt keine standardisierte Methode, um zu messen, ob eine Erklärung gut ist; KI kann Verzerrungen aus historischen Daten übernehmen; einige Ärzte vertrauen den XAI-Ausgaben möglicherweise nicht oder verstehen sie nicht; und die Kombination von KI mit vielen verschiedenen Datentypen ist weiterhin schwierig. Diese Grenzen sind der Grund, warum KI schrittweise eingeführt wird.

Was bedeutet „Black Box“ in der Medizin?

Eine Black-Box-KI ist ein System, das genaue Ergebnisse liefert, aber nicht offenlegt, wie es zu diesen kommt. Ein Beispiel: Eine KI kann eine verdächtige Läsion im Scan korrekt als auffällig kennzeichnen, kann aber nicht erklären, warum. Bei entscheidungsträchtigen Situationen, wie der Frage, ob Sie operiert werden müssen, ist eine Vorhersage ohne Erklärung für Ärzte schwer vertrauenswürdig.

Wie verbessert erklärbare KI die Patientensicherheit?

Wenn KI seine Befunde begründen muss, werden Fehler leichter erkennbar und korrigierbar. Die Übersicht berichtet, dass XAI die klinische Haftung reduziert, indem es Entscheidungen auf ethische und klinische Leitlinien stützt. Es hilft zudem, Verzerrungen in den Daten zu beseitigen, was zu weniger falschen Vorhersagen führt. Patienten können mit größerem Vertrauen wissen, welche Begründung einer KI-gestützten Diagnose zugrunde liegt.

Welche Bildgebungs- und Pathologiebefunde muss ich für eine Zweitmeinung zu einer KI-gestützten bildgebenden Diagnose mitbringen?

Für eine Zweitmeinung zu einer KI-gestützten bildgebenden Diagnose sind die Originalbilder (Röntgen, CT, MRT oder Ganzpräparat-Pathologie) unerlässlich. Bringen Sie auch alle erklärbaren KI-Ausgaben mit, wie etwa Saliency Maps oder Heatmaps, die zeigen, welche Bildbereiche die KI für ihre Schlussfolgerung verwendet hat. Da diese Tools hervorheben, wo die KI geschaut hat, kann ein zweiter Experte überprüfen, ob der Befund echt ist oder ein Artefakt darstellt. Fügen Sie den radiologischen oder pathologischen Bericht hinzu und weisen Sie auf bekannte Einschränkungen hin, wie etwa potenzielle Datenverzerrungen. Diagnostic Detectives Network bietet unabhängige Experten-Zweitmeinungen an.

Quelleninformationen

Original Article Title: Explainable artificial intelligence (XAI) in medical imaging: a systematic review of techniques, applications, and challenges.

License: CC BY-NC-ND (open access)

Authors: Ahmed F, Naz NS, Khan S, Rehman AU, Ismael WM, Khan MA.

Journal: BMC Medical Imaging (2026) 26:37

DOI: https://doi.org/10.1186/s12880-025-02118-w

Study Type: Systematic literature review following PRISMA 2020 guidelines

Clinical Trial Number: Not applicable (this was a review of existing literature, not a clinical trial)

Funding/Institutional Affiliations: The authors are affiliated with the National College of Business Administration and Economics (Pakistan), Saveetha Institute of Medical and Technical Sciences (India), Applied Science Private University (Jordan), Chitkara University (India), Azal University for Human Development (Yemen), and Gachon University (Republic of Korea).

Dieser patientenfreundliche Artikel basiert auf in der Fachzeitschrift BMC Medical Imaging, einem Open-Access-Journal, veröffentlichter, peer-reviewter Forschung. Der Originalartikel ist unter einer Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License lizenziert. Patienten und Betreuer werden ermutigt, Fragen zur KI-gestützten Bildgebung mit ihren Gesundheitsdienstleistern zu besprechen.