Spiegeln Online-Arztbewertungen wirklich die Versorgungsqualität wider? Was eine neue Studie herausfand

Inhaltsverzeichnis

• Wichtige Punkte
• Warum diese Forschung wichtig ist: Der Aufstieg von Online-Arztbewertungen
• Wie die Studie durchgeführt wurde
• Wichtige Erkenntnisse: Bewertungen sagen weder Qualität, Wert noch die Beurteilung durch Kollegen voraus
• Sind die Bewertungen zumindest über verschiedene Websites hinweg konsistent?
• Was dies für Patienten bedeutet
• Einschränkungen der Studie
• Empfehlungen für Patienten und die Gesundheitsbranche
• Häufig gestellte Fragen
• Quelleninformationen

Wichtige Punkte

• In einer Studie des Cedars-Sinai Medical Center mit 78 Fachärzten zeigten Online-Arztbewertungen keinen bedeutenden Zusammenhang mit der Qualität, dem Wert oder der Beurteilung durch Kollegen.
• Laut der Studie waren Ärzte mit hohen Sternbewertungen nicht eher in der Lage, eine hochwertige Versorgung zu bieten als solche mit niedrigeren Bewertungen.
• Nur 5 %–32 % der Ärzte, die in der untersten Quartil bei der Leistungsbewertung lagen, hatten auch Verbraucherbewertungen in der untersten Quartil; 68 %–95 % wurden übersehen.
• Die Bewertungen waren im Allgemeinen auf fünf großen Websites konsistent, aber diese Konsistenz machte sie nicht zu gültigen Leistungsvorhersagen, wie die Studie feststellte.
• Die Forscher raten Patienten, Online-Bewertungen nur als einen von mehreren Eingabefaktoren zu nutzen, zusammen mit Empfehlungen, Qualitätsberichten und der persönlichen Einschätzung im Gespräch.

Warum diese Forschung wichtig ist: Der Aufstieg von Online-Arztbewertungen

Die Wahl eines Arztes ist eine der persönlichsten und folgenreichsten Entscheidungen im Gesundheitswesen, die eine Person treffen kann. Doch für viele Patienten wird dieser Prozess stark von Online-Konsumentenbewertungen beeinflusst — derselben Art von 5-Sterne-Bewertungen, die auch zur Bewertung von Restaurants, Hotels und Produkten verwendet werden.

Die Popularität dieser Bewertungen ist unbestreitbar. Eine Umfrage aus dem Jahr 2012 unter 2.137 US-Amerikanern ergab, dass 65 % der Befragten von Arztbewertungs-Websites wussten und 59 % angaben, dass diese Websites bei der Wahl eines Arztes „einigermaßen wichtig“ oder „sehr wichtig“ waren. Noch bemerkenswerter ist eine Umfrage unter 1.000 chirurgischen Patienten am Mayo Clinic, die zeigte, dass 81 % eine Konsultation mit einem Arzt allein aufgrund positiver Bewertungen suchen würden und 77 % keine Konsultation ausschließlich auf Basis negativer Bewertungen suchen würden. Diese Trends sind nicht auf die USA beschränkt — ähnliche Muster wurden auch in Europa berichtet.

Krankenkassen haben dies zur Kenntnis genommen. Viele Leistungserbringer integrieren inzwischen Online-Konsumentenbewertungen in ihre Arztsuch-Tools, was darauf hindeutet, dass auch Versicherer diese Bewertungen als vertrauenswürdige Maßstäbe für die tatsächliche klinische Leistung ansehen. Angesichts dieser Entwicklung sagen Forscher voraus, dass Konsumentenbewertungen in Zukunft eine zunehmend prominente Rolle bei der Arztwahl der Patienten spielen werden.

Doch es gibt ein kritisches Problem: Trotz der weit verbreiteten Nutzung war unklar, ob Online-Bewertungen tatsächlich hochleistungsfähige Ärzte identifizieren — oder sogar, was sie eigentlich messen. Die beliebtesten Bewertungsplattformen geben keine Anleitung dazu, welche Kriterien bei der Beurteilung eines Arztes verwendet werden sollten, was die Ergebnisse schwer interpretierbar macht. Einige Experten glaubten, dass die Bewertungen eher „zusätzliche“ Aspekte der Versorgung wie das Büroumfeld und die Freundlichkeit des Personals einfingen als die klinische Leistung, doch es gab keine starken Daten, die diese Behauptung stützten. Tatsächlich deuteten die begrenzten verfügbaren Daten darauf hin, dass das Gegenteil der Fall sein könnte.

Diese Studie wurde entwickelt, um eine grundlegende Frage zu beantworten: Sagen Online-Konsumentenbewertungen tatsächlich vorher, wie gut ein Arzt performt?

Durchführung der Studie

Forscher des Cedars-Sinai Medical Center, einem 886-Betten-Tertiärzentrum mit Hybridcharakter (akademisch-kommunal) in Los Angeles, führten eine Beobachtungsstudie an 78 Ärzten durch, die 8 medizinische und chirurgische Fachgebiete repräsentierten. Zu den Fachgebieten gehörten Kardiologie (25 Ärzte, 32 %), Neurologie (11 Ärzte, 14 %), Nephrologie (10 Ärzte, 13 %), Geburtshilfe/Gynäkologie (9 Ärzte, 12 %), Endokrinologie (7 Ärzte, 9 %), Hals-Nasen-Ohren-Heilkunde (6 Ärzte, 8 %), Gastroenterologie (6 Ärzte, 8 %) und allgemeine Chirurgie (4 Ärzte, 5 %).

Anfangs waren 123 praktizierende Ärzte im medizinischen Versorgungsnetzwerk des Cedars-Sinai für die Aufnahme qualifiziert. Allerdings wurden 30 ausgeschlossen, weil sie in ihrer ambulanten Praxis nicht das elektronische Gesundheitsakten-System des Gesundheitssystems nutzten, 14 wurden ausgeschlossen, weil sie weniger als 3 Peer-Review-Umfrageantworten erhalten hatten, und 1 wurde ausgeschlossen, weil keine Online-Konsumentenbewertungsdaten verfügbar waren.

Die Studienpopulation war in den Praxissettings vielfältig:

• Rasse: 50 Weiße (64 %), 19 Asiaten (24 %), 9 Andere (12 %)
• Geschlecht: 66 Männer (84 %), 12 Frauen (16 %)
• Praxisart: 36 in der Cedars-Sinai Medical Group (46 %), 34 in der Privatpraxis (44 %), 8 in der Fakultätsgruppe (10 %)
• Jahre in der Praxis: Median von 33,5 Jahren (Bereich 19–43 Jahre)

Messung der Leistung

Um die klinische Leistung umfassend zu erfassen, verwendeten die Forscher drei separate Bewertungsinstrumente, die jeweils eine andere Dimension der Arztqualität untersuchten:

1. Fachspezifische Leistungsdaten. Diese zusammengesetzte Metrik kombinierte objektive Maßstäbe für sowohl die Qualität als auch den Wert der Versorgung. Zu den Qualitätsmaßnahmen gehörten die Einhaltung von Choosing-Wisely-Maßnahmen (eine nationale Initiative zur Reduzierung unnötiger medizinischer Tests und Eingriffe) und Warnhinweise für beste Praktiken. Zu den Maßnahmen für den Wert der Versorgung gehörten die Nutzung von Generika, wenn angemessen, und die falldifferenzierte Verweildauer im Krankenhaus (Länge des Krankenhausaufenthalts angepasst an den Schweregrad der Patienten). Die spezifischen Metriken variierten je nach Fachgebiet und wurden durch einen intensiven Prozess der Einbindung von Stakeholdern mit Fachärzten entwickelt. Jede Metrik erhielt ein Gewicht zwischen 0 und 100 basierend auf ihrer Relevanz für die Leistung. Ärzte wurden für die Geschäftsjahre 2013–2014 bewertet, und Metriken wurden für Ärzte mit weniger als 20 qualifizierenden Kontakten entfernt. Wichtig ist, dass die Berechnung der Scores von Analysten durchgeführt wurde, die blind gegenüber den Konsumentenbewertungsergebnissen waren, um Verzerrungen zu verhindern.

2. Peer-Review-Scores für Hausärzte (PCP). Dreiunddreißig Hausärzte bewerteten jeden Spezialisten mit einer 9-stufigen modifizierten RAND-Skala (von 1 = „stimme überhaupt nicht zu“ bis 9 = „stimme vollständig zu“) basierend darauf, wie sehr sie der Aussage zustimmten: „Dr. [Name] ist ein starker Partner in der wertbasierten Gesundheitsversorgung.“ Um Reihenfolgeeffekte zu vermeiden, wurden die Profile der Spezialisten in einer für jeden Befragten einzigartigen zufälligen Reihenfolge präsentiert, und der Durchschnittswert für jeden Arzt wurde in die Analyse einbezogen.

3. Scores aus der Verwaltersurvey. Zwanzig Administratoren und Krankenhausleiter — darunter Abteilungsleiter, Direktoren stationärer klinischer Programme (Hospitalistenmedizin, Notaufnahme, Intensivstation) und Personen mit breitem Wissen über die Leistung von Spezialisten (Chefarzt des medizinischen Personals, akademischer Dekan) — bewerteten dieselben Spezialisten mit derselben 9-Punkte-Skala und Frage. Die Studie befragte auch Gruppen, die für einzelne Fachgebiete relevant waren (zum Beispiel Dialysepersonal für Nephrologen, Endoskopiepersonal für Gastroenterologen und Anästhesisten für Chirurgen).

Erfassung der Online-Bewertungen

Konsumentenbewertungen wurden von den 5 beliebtesten Online-Plattformen laut Google Trends gesammelt: Healthgrades, Vitals, Yelp, RateMDs und UCompareHealth. Jede Website lädt Verbraucher ein, Ärzte mit einer 5-Sterne-Skala zu bewerten. Die Forscher sammelten Daten zum durchschnittlichen Rating jedes Arztes sowie zur Anzahl der Bewertungen, die diesen Durchschnittswert bildeten.

Die mittlere Anzahl an Verbraucherbewertungen pro Arzt war über alle Plattformen hinweg relativ niedrig, mit einem Bereich von 4 bis 9 Bewertungen pro Arzt. Das bedeutet, dass die meisten Ärzte in der Studie weniger als 10 Online-Bewertungen vorweisen konnten. Die mittleren Sternebewertungen waren über alle Plattformen hinweg ziemlich hoch, im Bereich von 4,0 bis 4,5 Sternen, was darauf hindeutet, dass typische Online-Bewertungen nach oben verzerrt sind.

Die Forscher verwendeten dann fortgeschrittene statistische Methoden — einschließlich multivariabler linearer Regressionsmodelle — um zu bestimmen, ob Verbraucherbewertungen unabhängig mit irgendeinem der Leistungsmaße assoziiert waren, während sie die Anzahl der Bewertungen, die Facharztrichtung des Arztes, die ethnische Zugehörigkeit, das Geschlecht, die Jahre seit dem medizinischen Hochschulabschluss und die Praxisumgebung kontrollierten.

Wichtige Erkenntnisse: Bewertungen sagen weder Qualität noch Wert noch die Einschätzung durch Kollegen vorher

Die Ergebnisse waren frappierend klar: Online-Verbraucherbewertungen zeigten keine bedeutungsvolle Beziehung zu irgendeinem Maß für die tatsächliche Arztleistung.

Erkenntnis 1: Keine Assoziation zwischen Bewertungen und Gesamtleistung

Streudiagramme und statistische Analysen enthüllten entweder eine negative oder schwache Korrelation zwischen Verbraucherbewertungen und fachspezifischen Leistungswerten über alle Plattformen hinweg (Korrelationskoeffizientenbereich: −0,18 bis 0,02). Mit anderen Worten, Ärzte mit hohen Sternebewertungen waren nicht eher in der Lage, hochwertige Versorgung zu liefern als solche mit niedrigeren Bewertungen — und in einigen Fällen war eine höhere Bewertung tatsächlich mit einer leicht schlechteren Leistung assoziiert.

Multivariate Regressionsmodelle erzählten dieselbe Geschichte. Nach der Anpassung für potenzielle Störfaktoren gab es keine statistisch signifikante oder bedeutungsvolle Assoziation zwischen Verbraucherbewertungen und Leistungswerten (b-Koeffizientenbereich: −0,04 bis 0,04). Um dies ins richtige Licht zu rücken: Für jeden Anstieg um einen Stern in der Online-Bewertung eines Arztes änderte sich dessen Leistungswert um weniger als ein Zwanzigstel eines Punktes — ein vernachlässigbarer Unterschied.

Erkenntnis 2: Keine Assoziation mit Peer-Review-Werten

Verbraucherbewertungen konnten auch nicht vorhersagen, wie Ärzte von ihren Kollegen wahrgenommen wurden. Es gab keine signifikante Assoziation zwischen Online-Bewertungen und Peer-Review-Werten für Hausärzte (b-Koeffizientenbereich: −0,01 bis 0,3) oder Verwaltungswerten (b-Koeffizientenbereich: −0,2 bis 0,1). Die Korrelationen waren bei beiden Arten der Peer-Bewertung über alle Plattformen hinweg schwach oder negativ.

Erkenntnis 3: Keine Assoziation mit Qualitäts- oder Wert-Subdomänen

Die Forscher gingen tiefer und untersuchten, ob Bewertungen zumindest bestimmte Aspekte der Qualität vorhersagen könnten, wie die Einhaltung von Choosing-Wisely-Maßnahmen und Warnhinweisen für bewährte Praktiken, oder bestimmte Aspekte des Werts, wie die angemessene Verwendung generischer Medikamente und die Länge des Krankenhausaufenthalts. Die Ergebnisse: keine Beziehung zwischen Verbraucherwerten und irgendeiner Subdomäne der Leistung, die entweder mit Qualität oder wertbasierter Versorgung zusammenhängt.

Erkenntnis 4: Bewertungen versagen darin, leistungsschwache Ärzte zu identifizieren

Eines der überzeugendsten Erkenntnisse betrifft die Fähigkeit von Bewertungen, Ärzte zu kennzeichnen, die möglicherweise unterdurchschnittlich abschneiden. Unter Ärzten, die im untersten Quartil (die unteren 25 %) der fachspezifischen Leistungswerte lagen, hatten nur 5 %–32 % Verbraucherbewertungen im untersten Quartil über die verschiedenen Plattformen hinweg. Das bedeutet, dass die große Mehrheit der leistungsschwachen Ärzte immer noch Bewertungen im mittleren oder sogar hohen Bereich erhielt.

In praktischer Hinsicht würde ein Patient, der Online-Bewertungen nutzen würde, um die „schlechtesten“ Ärzte zu finden, indem er nach Ärzten mit den niedrigsten Sternebewertungen filtert, 68 % bis 95 % derjenigen verpassen, die bei objektiven Qualitätsmaßen tatsächlich schlecht abschnitten.

Sind Bewertungen zumindest über verschiedene Websites hinweg konsistent?

Die Studie stellte auch eine zweite Frage: Stimmen die verschiedenen Bewertungs-Websites wenigstens mit sich selbst überein? Wenn ein Arzt auf einer Plattform mit 5 Sternen bewertet wird, ist es dann wahrscheinlich, dass er auf einer anderen Plattform ebenfalls mit 5 Sternen bewertet wird?

Die Antwort war teilweise ja. Verbraucherbewertungen einzelner Ärzte waren über die Plattformen hinweg im Allgemeinen konsistent. Der Wert eines Arztes auf einer Plattform sagte seinen Wert auf einer anderen Plattform in 5 von 10 paarweisen Vergleichen signifikant voraus, und positive Beziehungen wurden insgesamt unter allen Plattformen beobachtet.

Zum Beispiel sagten Yelp-Bewertungen Healthgrades-Bewertungen (b-Koeffizient 0,28), Vitals-Bewertungen (0,52) und UCompareHealthcare-Bewertungen (0,45) signifikant voraus. Vitals-Bewertungen sagten Yelp (0,71), RateMDs (0,60) und UCompareHealthcare (0,96)-Bewertungen signifikant voraus.

Diese Konsistenz über die Plattformen hinweg deutet darauf hin, dass Online-Bewertungen gemeinsam einen zugrunde liegenden Faktor messen — was Statistiker als „latentes Konstrukt“ bezeichnen —, aber dieser Faktor scheint unabhängig von der klinischen Leistung zu sein. Mit anderen Worten, die Seiten messen konsequent etwas, nur nicht die Versorgungsqualität.

Was könnte dieses Etwas sein? Die Forscher weisen darauf hin, dass es teilweise die Patientenzufriedenheit sein könnte. Eine frühere Studie ergab, dass Online-Bewertungen in bescheidenem Maße mit den Zufriedenheitswerten der Verbraucher des National Committee for Quality Assurance für Versicherungspläne assoziiert waren (Pearson-Korrelation = 0,376). Die Definition dieses latenten Konstrukt ist kritisch, argumentieren die Autoren, da es Patienten zumindest sagen würde, was die Sternebewertungen tatsächlich bedeuten — und sie beeinflussen die Anbieterauswahl für die Mehrheit der Patienten stark.

Was bedeutet das für Patientinnen und Patienten?

Diese Erkenntnisse haben direkte und wichtige Auswirkungen auf die geschätzten 80 % der Gesundheitskonsumenten, die derzeit Ärzte ausschließlich anhand von Bewertungen auswählen. Wenn Sie zu diesen Patientinnen und Patienten gehören, bedeutet die Studie für Sie Folgendes:

• Eine 5-Sterne-Bewertung bedeutet nicht, dass ein Arzt eine höhere Versorgungsqualität bietet als ein Kollege mit 3 Sternen. Tatsächlich fand diese Studie keinen Zusammenhang — und manchmal sogar einen leicht negativen — zwischen Bewertungen und objektiven Qualitätsmaßen.
• Online-Bewertungen helfen Ihnen nicht dabei, Ärzte mit schlechter Leistung zu identifizieren. Die große Mehrheit der Ärzte mit niedrigen Leistungsdaten hatte in dieser Studie dennoch mittlere oder hohe Online-Bewertungen.
• Bewertungen messen möglicherweise die "Erfahrung" der Versorgung (wie Patientinnen und Patienten ihren Besuch empfanden) anstatt die "klinische" Versorgungsqualität (wie gut der Arzt eine Krankheit behandelt). Diese beiden Aspekte hängen zwar zusammen, sind aber sehr unterschiedlich.
• Konsistenz über Plattformen hinweg bedeutet nicht, dass die Bewertungen gültig sind. Auch wenn ein Arzt auf verschiedenen Websites tendenziell ähnliche Bewertungen erhält, zeigt diese Studie, dass diese konsistenten Werte die Leistung immer noch nicht vorhersagen. Es ist, als würden mehrere Waagen dieselbe falsche Zutat wiegen.

Dies soll nicht heißen, dass Patientenmeinungen keine Rolle spielen. Die Forscher betonen, dass Patienteneinschätzungen von Ärzten wichtig sind und diese Informationen "hier bleiben werden". Die Studie unterstreicht jedoch die Notwendigkeit, Online-Bewertungen als einen Teil eines viel größeren Puzzles zu verwenden — nicht als alleinige Grundlage für die Wahl eines Arztes.

Studienlimitationen

Jede wissenschaftliche Studie hat Limitationen, und die Autoren waren in Bezug auf mehrere dieser Punkte transparent:

• Stichprobengröße und Setting. Dies war eine Einzelinstitutionenstudie, die an einem großen städtischen Gesundheitssystem in Los Angeles durchgeführt wurde. Obwohl die Stichprobe diverse Praxisumgebungen (Fachpersonal, medizinische Gruppe und private Praxis) umfasste, lassen sich die Ergebnisse möglicherweise nicht vollständig auf andere Regionen, kleinere Krankenhäuser oder ländliche Versorgungssettings übertragen.
• Mögliches Selektionsbias. Die Peer-Review-Umfragen waren zwar sorgfältig konzipiert, haben aber möglicherweise nicht alle Dimensionen der Arztleistung erfasst. Darüber hinaus stützte sich die Studie auf Ärzte mit mindestens 3 Peer-Review-Antworten, wodurch einige Fachärzte ausgeschlossen worden sein könnten.
• Begrenzte Anzahl von Online-Bewertungen pro Arzt. Mit einer medianen Bewertungszahl von nur 4–9 pro Arzt über die Plattformen hinweg basierten die Durchschnittswerte auf sehr kleinen Stichproben. Eine einzige zusätzliche negative Bewertung konnte den Durchschnittswert eines Arztes erheblich verändern. Dies spiegelt die Realität spärlich besetzter Bewertungsplattformen wider, bedeutet aber auch, dass die Studie mit etwas instabilen Bewertungsschätzungen arbeitete.
• Vermeidung rein akademischer Settings. Die Autoren gaben an, keinen Zugriff auf Daten des Consumer Assessment of Healthcare Providers and Systems (CAHPS) oder formelle Patientenzufriedenheitswerte gehabt zu haben, und sie erkannten den mit dem Testen derselben Frage in rein akademischen Settings verbundenen Sampling-Bias an.
• Beobachtendes Studiendesign. Wie bei allen beobachtenden Studien konnten die Forscher Assoziationen (oder in diesem Fall das Fehlen solcher) aufzeigen, aber keine Kausalität nachweisen.

Trotz dieser Limitationen war die Methodik der Studie robust: Sie bewertete die Arztleistung über mehrere Dimensionen (Qualität, Wert, Peer-Bewertung sowohl von Hausärzten als auch von Administratoren), verwendete objektive, fachspezifische Metriken, die in Zusammenarbeit mit den Beteiligten entwickelt wurden, und berücksichtigte wichtige Arztmerkmale in ihren statistischen Modellen. Die Autoren argumentieren, dass es unwahrscheinlich ist, dass größere Studien die Arztleistung auf einer solchen detaillierten und multimodalen Ebene bewerten können.

Empfehlungen für Patientinnen und Patienten sowie die Gesundheitsbranche

Angesichts der Evidenz, was sollten Patientinnen und Patienten tun — und wie kann die Gesundheitsbranche die Bewertungssysteme für Ärzte verbessern? Die Forscher gaben mehrere spezifische Empfehlungen.

Für Patientinnen und Patienten

1. Verlassen Sie sich nicht ausschließlich auf Online-Bewertungen. Die Schlussfolgerung der Studie ist eindeutig: "Online-Konsumentenbewertungen sollten nicht isoliert zur Auswahl von Ärzten verwendet werden." Nutzen Sie Bewertungen nur als einen Input neben anderen Informationsquellen.
2. Suchen Sie nach objektiven Qualitätsdaten. Suchen Sie nach öffentlich verfügbaren Daten zu Krankenhaus- und Arztqualitätsmaßen. Bitten Sie Ihren Hausarzt um eine Überweisung — diese Studie fand heraus, dass die Peer-Bewertungen von Hausärzten für Fachärzte nicht mit Online-Bewertungen korrelierten, was bedeutet, dass ihre Empfehlungen möglicherweise tatsächlich unterschiedliche (und nützliche) Informationen hinzufügen.
3. Betrachten Sie genau, was Bewertungen eigentlich messen. Wenn Sie Online-Bewertungen lesen, behandeln Sie diese als Abbild der Patientenerfahrung — Wartezeiten im Wartezimmer, Betreuungsstil am Krankenbett, Kommunikationsweise — und nicht als Maßstab für medizinische Fähigkeiten oder Behandlungsergebnisse.
4. Überprüfen Sie mehrere Quellen. Obwohl Bewertungen plattformübergreifend konsistent sind, sagt diese Konsistenz wenig über die Validität aus. Diversifizieren Sie stattdessen die Art der Informationen, die Sie einholen: Versicherungskataloge, Qualitätsberichte von Krankenhäusern, Gespräche mit anderen Fachleuten des Gesundheitswesens und eine persönliche Einschätzung, ob Sie sich vom Arzt gehört und respektiert fühlen.

Für die Gesundheitsbranche und Bewertungswebseiten

1. Erstellen Sie einen definierbaren Konstruktor. Verbraucher-Bewertungswebseiten sollten klar darlegen, was sie mit ihren Bewertungen genau messen möchten, sowie klare Anweisungen dazu geben, wie Patienten Ärzte anhand von Metriken bewerten können, die sie gut einschätzen können (wie Kommunikation und partizipative Entscheidungsfindung). Die Inhalte sollten sowohl von Experten als auch von Patientinnen und Patienten mitgestaltet werden, um Relevanz und Inhaltsvalidität zu maximieren.
2. Kombinieren Sie Bewertungen mit Leistungsdaten. Online-Bewertungen sollten zusammen mit ergänzenden Daten zur Qualität und zum Wert der Versorgung dargestellt werden, da diese Studie zeigt, dass diese kritisch wichtigen Daten nicht durch Verbraucherbewertungen erfasst werden.
3. Akzeptieren Sie die Verantwortung für die Grenzen. Unternehmen, die Bewertungsdatenbanken für Ärzte anbieten, haben die Pflicht, ihre Kunden dabei zu unterstützen, die Einschränkungen von Verbraucherbewertungen bei der Arztwahl zu verstehen — insbesondere, weil die Risiken hier höher sind als bei jedem anderen Konsumentenkauf.

Das Problem der Validität

Die Forscher wandten zudem einen psychometrischen Rahmen an — dieselben Standards, die zur Validierung jedes Fragebogens verwendet werden — um Online-Bewertungen für Ärzte zu evaluieren. Sie kamen zu dem Schluss, dass die Bewertungen sogar elementare Tests der Validität nicht bestehen:

• Gesichtsfeld-Validität (sieht es so aus, als würde es messen, was es messen soll?): Nicht erfüllt. Ohne Empfehlungen zur Bewertung von Ärzten ist unklar, ob eine 5-Sterne-Bewertung überhaupt ein explizites Konstrukt misst.
• Inhaltsvalidität (deckt es die wichtigen Aspekte ab?): Nicht erfüllt. Es werden keine konsistenten Kategorien der Patientenerfahrung plattformübergreifend gemessen.
• Predictive Validity (kann es zukünftige Leistungen vorhersagen?): Nicht erfüllt. Diese Studie zeigt, dass Bewertungen die ärztliche Leistung bei Qualitäts-, Wert- und Peer-Review-Metriken nicht vorhersagen.
• Konkurrierende Validität (kann es Hochleister von Niedrigleistern unterscheiden?): Nicht erfüllt. Nur 5 %–32 % der schwach abschließenden Ärzte wurden durch niedrige Bewertungen erfasst.

Vorherige Forschung hatte gezeigt, dass Online-Bewertungen einige grobe Qualitätsmaße vorhersagen können, wie z. B. die Facharztkonferenz-Zertifizierung (Board Certification), die Qualität der medizinischen Ausbildung, das Arztvolumen und ergebnisbezogene Daten auf Krankenhausebene (einschließlich Hospital Consumer Assessment of Healthcare Providers and Systems-Scores sowie Krankenhaus-Wiederaufnahmeraten für Myokardinfarkt, Herzinsuffizienz und Pneumonie). Eine britische Studie zu NHS-Choices-Daten des National Health Service fand moderate Zusammenhänge zwischen dem Status „empfohlener Arzt“ und der Patientenerfahrung (Spearman's 0,37–0,48, P < ,001), aber nur schwache Zusammenhänge mit klinischen Prozess- und Ergebnismaßen (Spearman's kleiner als 0,18, P < ,001).

Diese neue Studie ist jedoch einzigartig in ihrer detaillierten, multidimensionalen Bewertung der individuellen ärztlichen Leistung bei Qualitäts-, Wert- und Peer-Review-Metriken gleichzeitig — und ihre Ergebnisse machen deutlich, dass die Granularität von Qualitätsdaten auf Arztniveau wichtig ist. Was auf institutioneller Ebene gilt, gilt nicht auf der Ebene einzelner Ärzte.

Das Fazit der Forscher lautet: „Unsere Ergebnisse unterstützen eine langjährige Überzeugung unter Stakeholdern im Gesundheitswesen: dass Verbraucher-Bewertungsscores die grundlegende Qualität und den Wert der Versorgung durch einen einzelnen Arzt nicht widerspiegeln — was unbestreitbar zu den wichtigsten Kriterien bei der Auswahl eines Gesundheitsdienstleisters gehört.“

Häufig gestellte Fragen

Spiegeln Online-Bewertungen für Ärzte die Qualität der Versorgung wider, die ein Arzt erbringt?

Nein, laut einer Studie des Cedars-Sinai-Krankenhauses mit 78 Spezialisten. Die Forscher fanden keinen bedeutenden Zusammenhang zwischen Online-Sternebewertungen und objektiven Maßen der klinischen Qualität, des Werts der Versorgung oder von Peer-Bewertungen. Hohe Bewertungen sagten keine bessere Leistung voraus, und einige Ärzte mit hohen Bewertungen hatten leicht schlechtere Leistungswerte.

Sollte ich Online-Bewertungen allein verwenden, um einen Arzt zu wählen?

Die Forscher raten davon ab. Ihre Studie ergab, dass Online-Bewertungen Qualität, Wert oder Peer-Einschätzungen nicht vorhersagen. Wenn Sie die niedrigsten Bewertungen nutzen würden, um schlechte Leistungen zu finden, würden Sie 68 % bis 95 % der Ärzte verpassen, die bei objektiven Qualitätsmaßen tatsächlich niedrig abschnitten. Nutzen Sie Bewertungen nur als eine von vielen Eingangsgrößen.

Was hat die Studie gemessen, um die Leistung der Ärzte zu bewerten?

Die Forscher haben für jeden der 78 Fachärzte drei Dinge gemessen: fachspezifische Leistungsindikatoren, die Qualitätsmaße wie die Einhaltung von Choosing Wisely und Wertmaße wie die angemessene Verwendung von Generika und die Krankenhausverweildauer kombinieren; Peer-Review-Bewertungen von Hausärzten; und Bewertungswerte aus einem Administrator-Umfrage. Anschließend haben sie diese mit den Online-Sternebewertungen verglichen.

Sind Online-Bewertungen zumindest über verschiedene Websites hinweg konsistent?

Ja, teilweise. Die Bewertungen für denselben Arzt waren auf den fünf großen Plattformen im Allgemeinen konsistent, mit positiven Zusammenhängen in den meisten paarweisen Vergleichen. Diese Konsistenz bedeutet jedoch nicht, dass die Bewertungen gültig sind. Die Studie zeigte, dass diese konsistenten Scores immer noch keine Aussagekraft für die klinische Leistung, den Wert der Versorgung oder die Peer-Bewertungen haben.

Was messen Online-Bewertungen eigentlich, wenn nicht die Qualität?

Die Studie legt nahe, dass Online-Bewertungen teilweise die Patientenzufriedenheit oder das Versorgungserlebnis widerspiegeln könnten, wie Wartezeiten, Bettnähe und Kommunikation. Die Forscher weisen jedoch darauf hin, dass unklar ist, was die Bewertungen tatsächlich messen. Sie stellten fest, dass die Bewertungen keine Aussagekraft für Qualität, Wert oder die Peer-Bewertung der ärztlichen Leistung haben.

Was sind die Einschränkungen dieser Studie zu Arztbewertungen?

Dies war eine Einzelinstitution-Studie in Los Angeles mit 78 Fachärzten, daher lassen sich die Ergebnisse nicht ohne Weiteres auf andere Orte übertragen. Die mittlere Anzahl der Online-Bewertungen pro Arzt war gering, nur 4 bis 9, was die Durchschnittsbewertungen instabil macht. Zudem kann die Studie Zusammenhänge aufzeigen, aber keine Kausalität beweisen, und sie schloss keine formalen Patientenzufriedenheitsbewertungen ein.

Was sollten Patienten stattdessen tun, anstatt sich auf Online-Bewertungen zu verlassen?

Bitten Sie Ihren Hausarzt um eine Überweisung, da die Peer-Bewertungen nicht mit den Online-Bewertungen übereinstimmten und nützliche Informationen liefern könnten. Suchen Sie nach öffentlich verfügbaren Qualitätsdaten für Krankenhäuser und Ärzte. Wenn Sie Bewertungen lesen, betrachten Sie diese als Spiegelung des Patientenerlebnisses, nicht der medizinischen Kompetenz. Prüfen Sie mehrere Quellen und bewerten Sie, ob Sie sich vom Arzt gehört fühlen.

Wann sollte ich eine zweite Meinung einholen, anstatt sich auf Online-Arztbewertungen zu verlassen?

Online-Bewertungen von Ärzten sagen die tatsächliche Versorgungsqualität, Kosteneffizienz oder Peer-Bewertungen nicht voraus. Unter den 78 untersuchten Fachärzten hatten Verbraucher-Sternebewertungen keine bedeutende Verbindung zu irgendeinem objektiven Leistungsmaß, und die meisten schlecht abschneidenden Ärzte erhielten immer noch durchschnittliche oder hohe Bewertungen. Für wichtige Entscheidungen im Gesundheitswesen sollten Bewertungen nur als ein Input verwendet werden. Eine unabhängige Experten-Zweitmeinung kann zuverlässige Anleitung bieten, die Online-Bewertungen nicht leisten können, insbesondere bei der Wahl eines Arztes für eine bedeutende Behandlung. Diagnostic Detectives Network bietet unabhängige Experten-Zweitmeinungen an.

Quelleninformationen

Original Article Title: Online physician ratings fail to predict actual performance

DOI: 10.1093/jamia/ocx083

Authors: Timothy J. Daskivich, Justin Houman, Garth Fuller, Jeanne T. Black, Hyung L. Kim, and Brennan Spiegel

Journal: Journal of the American Medical Informatics Association (JAMIA), Volume 25, Issue 4, 2018, pages 401–407

DOI: 10.1093/jamia/ocx083

Publication Details: Advance Access publication date: September 8, 2017. Received March 13, 2017; Revised May 18, 2017; Accepted August 21, 2017.

Affiliations: Division of Urology, Cedars-Sinai Medical Center; Cedars-Sinai Center for Outcomes Research and Education (CS-CORE); Department of Medicine, Division of Health Services Research, Cedars-Sinai Health System; Resource and Outcomes Management Department, Cedars-Sinai Health System; and Department of Health Policy and Management, UCLA Fielding School of Public Health, Los Angeles, CA, USA.

Dieser patientenfreundliche Artikel basiert auf peer-reviewter Forschung. Er dient ausschließlich Informationszwecken und stellt keine medizinische Beratung dar. Konsultieren Sie stets qualifizierte Fachkräfte im Gesundheitswesen, wenn Sie Entscheidungen über Ihre Gesundheit treffen.