¿Las calificaciones de médicos en línea realmente le dicen algo? El estudio dice que no

Tabla de contenidos

• Puntos clave
• Antecedentes: por qué esta investigación es importante
• Métodos del estudio: cómo se realizó la investigación
• Hallazgos clave: lo que mostraron los datos
• Implicaciones clínicas: lo que esto significa para los pacientes
• Limitaciones del estudio: lo que esta investigación no pudo demostrar
• Direcciones futuras: cómo podrían mejorarse las calificaciones en línea
• Recomendaciones: consejos prácticos para los pacientes
• Preguntas frecuentes
• Información de la fuente

Puntos clave

• Las calificaciones de médicos en línea no predijeron la calidad, el valor ni las evaluaciones de pares en un estudio de 78 especialistas.
• Entre los médicos con desempeño más bajo, solo entre el 5 % y el 32 % tenían calificaciones bajas en línea en las distintas plataformas.
• Las calificaciones pueden reflejar la experiencia en el consultorio o los tiempos de espera, no la habilidad clínica.
• Los pacientes deben preguntar a sus médicos de atención primaria, verificar el cumplimiento de Choosing Wisely y considerar los datos de calidad a nivel hospitalario.
• Los comentarios de texto libre pueden ofrecer información útil sobre la comunicación y la logística del consultorio, pero las calificaciones por estrellas por sí solas no son confiables.

Antecedentes: por qué esta investigación es importante

Todos hemos pasado por eso: sentirnos mal, necesitar un especialista y sacar el teléfono para revisar las opiniones en línea. Resulta que la mayoría de nosotros hace exactamente eso. Una encuesta de 2012 a 2,137 adultos estadounidenses encontró que el 65% conocía los sitios web de calificación de médicos, y el 59% dijo que estos sitios eran "algo importantes" o "muy importantes" al elegir un médico.

Las cifras se vuelven aún más sorprendentes. Una encuesta a 1,000 pacientes quirúrgicos en la Clínica Mayo reveló que el 81% buscaría una consulta con un médico basándose únicamente en opiniones positivas, y el 77% se negaría a ver a un médico basándose únicamente en opiniones negativas. Esta tendencia no es solo un fenómeno estadounidense: se han reportado patrones similares en toda Europa.

Incluso las compañías de seguros de salud se están sumando a la tendencia. Los pagadores ahora están incorporando las calificaciones de consumidores en línea en sus herramientas de búsqueda de médicos, lo que sugiere que las compañías de seguros creen que estas calificaciones son medidas confiables de lo que los investigadores llaman "desempeño clínico real"—es decir, qué tan bueno es realmente un médico en su trabajo.

Pero aquí está la pregunta crítica: ¿Esas estrellas realmente reflejan qué tan bien un médico practica la medicina? Los sitios web de calificación más populares no ofrecen orientación sobre qué criterios deberían usar los pacientes al evaluar a un médico, lo que dificulta la interpretación de los resultados. Algunos creen que las calificaciones miden cosas como el ambiente del consultorio o la amabilidad del personal en lugar de la habilidad clínica, pero los datos limitados disponibles sugerían lo contrario—o simplemente no eran concluyentes. Este estudio fue diseñado para resolver la pregunta con datos rigurosos y multidimensionales.

Métodos del estudio: cómo se realizó la investigación

El equipo de investigación se propuso responder una pregunta sencilla: ¿las calificaciones de médicos en línea predicen el desempeño real? Para ello, estudiaron a 78 médicos que representaban 8 especialidades médicas y quirúrgicas en el Centro Médico Cedars-Sinaí en Los Ángeles, un hospital de referencia terciario de 886 camas que funciona como un centro médico híbrido académico-comunitario.

Los médicos fueron seleccionados originalmente de un grupo de 123 doctores elegibles. Los investigadores excluyeron a aquellos que no usaban el registro médico electrónico (EHR, por sus siglas en inglés) del sistema de salud en su práctica ambulatoria (30 médicos), a aquellos que recibieron menos de 3 respuestas a la encuesta de revisión por pares (14 médicos) y a aquellos que no tenían datos de calificación de consumidores en línea disponibles (1 médico), dejando un grupo final de 78.

La muestra de médicos se veía así:

• Especialidades: Cardiología (25 médicos, 32%), Neurología (11, 14%), Nefrología (10, 13%), Obstetricia/Ginecología (9, 12%), Endocrinología (7, 9%), Otorrinolaringología (6, 8%), Gastroenterología (6, 8%) y Cirugía General (4, 5%)
• Raza: Caucásica (50, 64%), Asiática (19, 24%), otra (9, 12%)
• Género: Masculino (66, 84%), femenino (12, 16%)
• Tipo de práctica: Grupo Médico Cedars-Sinaí (36, 46%), práctica privada (34, 44%), grupo docente (8, 10%)
• Años en la práctica: Mediana de 33.5 años (rango 19–43 años)

Los investigadores recopilaron las calificaciones de consumidores de las cinco plataformas en línea más populares según Google Trends: Healthgrades, Vitals, Yelp, RateMDs y UCompareHealth. Cada sitio web invita a los consumidores a calificar a los médicos usando una escala de 5 estrellas. El equipo registró la calificación promedio de cada médico y el número de calificaciones detrás de ese promedio. Las calificaciones medianas entre plataformas variaron de 4.0 a 4.5 estrellas, y los médicos generalmente recibieron de 4 a 9 reseñas.

Para medir el desempeño clínico real, el equipo utilizó tres evaluaciones distintas:

1. Puntajes de desempeño específicos por especialidad: Una métrica compuesta creada por médicos especialistas a través de un proceso intensivo con las partes interesadas. Los médicos calificaron cada métrica candidata usando el Método de Adecuación RAND modificado, y se seleccionaron las 5 métricas principales dentro de cada especialidad. Estas incluyeron medidas de calidad (como la adherencia a las medidas de Choosing Wisely) y valor de la atención (como el uso de medicamentos genéricos y la duración de la estancia ajustada por complejidad de casos). Cada métrica se ponderó entre 0 y 100 según su relevancia, y los puntajes se calcularon para los años fiscales 2013–2014 por analistas que no conocían los resultados de las calificaciones de consumidores.
2. Puntajes de la encuesta a médicos de atención primaria (PCP): Treinta y dos médicos de atención primaria calificaron a cada especialista usando una escala RAND modificada de 9 puntos (de 1, "completamente en desacuerdo", a 9, "completamente de acuerdo") en respuesta a la afirmación: "El Dr. [Nombre] es un socio sólido en la atención médica basada en el valor". Para evitar efectos de orden, los perfiles de los especialistas se presentaron en un orden aleatorio único para cada encuestado.
3. Puntajes de la encuesta a administradores: Veinte administradores y líderes hospitalarios—incluidos líderes departamentales, directores de programas clínicos para pacientes hospitalizados y personal con conocimiento amplio del desempeño de los especialistas—usaron la misma escala de 9 puntos y la misma pregunta para calificar a cada especialista. También se encuestó a grupos adicionales relevantes para especialidades individuales (como el personal de diálisis para nefrólogos y el personal de endoscopia para gastroenterólogos).

El análisis estadístico incluyó diagramas de dispersión con superposiciones de suavizado, coeficientes de correlación de rangos de Spearman y modelos de regresión lineal multivariable que se ajustaron por número de reseñas, especialidad del médico, raza, género, años desde la graduación de la escuela de medicina y entorno de práctica. La significancia estadística se estableció en P < .05.

Hallazgos clave: lo que mostraron los datos

Los resultados fueron notablemente consistentes en todas las plataformas y en cada medida de desempeño. Esto es lo que encontraron los investigadores:

Calificaciones vs. Desempeño Real

Los diagramas de dispersión que comparaban las calificaciones promedio de los consumidores con las puntuaciones de desempeño específicas de cada especialidad no mostraron ninguna relación en absoluto. En todas las plataformas, hubo una correlación negativa o débil entre las calificaciones de los consumidores y las puntuaciones de desempeño (rango de correlación: −0.18 a 0.02).

Después de ajustar por otros factores, los modelos multivariables confirmaron que no había una asociación estadísticamente significativa o significativa entre las calificaciones de los consumidores y las puntuaciones de desempeño. El rango del coeficiente b fue de −0.04 a 0.04 en todas las plataformas, lo que significa que incluso un aumento completo de 1 punto en la calificación de estrellas de un médico se asoció con un cambio de menos de una vigésima parte de un punto en su puntuación de desempeño real.

Quizás lo más preocupante: entre los médicos en el cuartil más bajo de puntuaciones de desempeño específicas de la especialidad, solo del 5% al 32% tenían calificaciones de consumidores en el cuartil más bajo en las diversas plataformas. En otras palabras, el sistema de calificaciones casi no logró identificar a los médicos que tenían el peor desempeño.

Sin Ayuda del Análisis de Subdominios

Los investigadores se preguntaron si tal vez las calificaciones se alineaban con aspectos específicos de la atención, incluso si no coincidían con el desempeño general. Probaron esto examinando los subdominios:

• Métricas de calidad de la atención (adherencia a las medidas de Choosing Wisely y alertas de mejores prácticas): Sin asociación con las calificaciones.
• Métricas de atención basada en el valor (tasa de utilización de medicamentos genéricos y duración de la estancia ajustada por complejidad del caso): Sin asociación con las calificaciones.

Entonces, ya sea que se hable de seguir pautas basadas en evidencia, recetar medicamentos rentables o lograr que los pacientes regresen a casa oportunamente, las estrellas en línea no les dijeron a los pacientes nada sobre qué tan bien se desempeñaba un médico en estas áreas.

Calificaciones vs. Evaluaciones de Colegas

¿Qué pasa con lo que piensan otros médicos? Las calificaciones tampoco se correlacionaron con las evaluaciones de colegas:

• Puntuaciones de médicos de atención primaria (PCP, por sus siglas en inglés): Rango de correlación de −0.04 a 0.07 entre plataformas, con coeficientes b que van de −0.01 a 0.3 (no significativos).
• Puntuaciones de administradores: Rango de correlación de −0.02 a 0.18, con coeficientes b que van de −0.2 a 0.1 (no significativos).

Los médicos que eran muy valorados por sus colegas de atención primaria y los administradores del hospital no tenían más probabilidades de tener altas calificaciones en línea que los médicos con malas evaluaciones de sus colegas.

Consistencia entre Plataformas

Curiosamente, las calificaciones fueron algo consistentes entre plataformas. La puntuación de un médico en una plataforma predijo significativamente su puntuación en otra en 5 de 10 comparaciones por pares después del ajuste estadístico. Esto sugiere que las plataformas pueden estar midiendo conjuntamente algo, pero sea lo que sea ese algo, no tiene nada que ver con el desempeño clínico.

Resumen de Cifras Clave

• Mediana de la puntuación de desempeño específica de la especialidad: 0.8 (IQR 0.5–0.9)
• Mediana de la puntuación de PCP: 6.8 (IQR 5.5–7.8) de 9
• Puntuación mediana de los administradores: 6.7 (IQR 5.3–7.5) de 9
• Calificaciones medianas de los consumidores por plataforma (estrellas): Yelp 4.0, Healthgrades 4.2, Vitals 4.0, RateMDs 4.0, UCompareHealth 4.5

Implicaciones clínicas: qué significa esto para los pacientes

Este estudio proporciona algunas de las evidencias más sólidas hasta la fecha de que las calificaciones de médicos en línea, aunque son populares y muy utilizadas, no son medidas válidas del desempeño clínico. Los investigadores lo plantearon en términos de validez psicométrica, el mismo marco que se utiliza para evaluar cualquier cuestionario o herramienta de medición.

• La validez aparente falla: Las plataformas en línea no ofrecen orientación sobre qué criterios deberían usar los pacientes para calificar a los médicos, por lo que no está claro qué significa realmente una calificación de 5 estrellas ni si mide algún constructo explícito.
• La validez de contenido falla: No se miden categorías consistentes de la experiencia del paciente entre las distintas plataformas.
• La validez predictiva y concurrente fallan: Las calificaciones no pueden predecir el desempeño futuro del médico ni distinguir entre médicos con alto y bajo desempeño, las dos funciones más básicas de cualquier herramienta de evaluación útil.

Hay un matiz importante aquí. Cuando se observan hospitales en lugar de médicos individuales, las calificaciones de los pacientes han mostrado cierta capacidad para predecir la calidad institucional. Dos grandes estudios retrospectivos encontraron que las calificaciones de hospitales hechas por pacientes en la web predijeron resultados concretos como las puntuaciones de la encuesta Hospital Consumer Assessment of Healthcare Providers and Systems (HCAHPS), así como los reingresos hospitalarios por infarto de miocardio, insuficiencia cardíaca y neumonía. Pero trasladar esa validez a nivel institucional a los médicos individuales simplemente no funciona.

Un estudio que utilizó datos del Servicio Nacional de Salud del Reino Unido (NHS) Choices encontró que, entre el 69% de los médicos que fueron "recomendados" en las reseñas de encuestas, había asociaciones moderadas con la experiencia del paciente (correlación de Spearman de 0.37–0.48, P < .001), pero solo asociaciones débiles con los procesos clínicos y las medidas de resultados (Spearman menor a 0.18, P < .001). Otros estudios encontraron que las reseñas en línea se correlacionaban con el estado de certificación de la junta, la calidad de la educación médica y el volumen de pacientes del médico, pero ninguno había caracterizado de manera sólida el desempeño en calidad, valor y revisión por pares simultáneamente como lo hizo este estudio.

El informe desafía directamente al aproximadamente 80% de los consumidores de atención médica que actualmente eligen médicos basándose únicamente en las calificaciones. Y cuestiona a las compañías de seguros que han comenzado a incorporar las calificaciones de los consumidores en las herramientas de búsqueda de médicos, sugiriendo que estas organizaciones podrían estar apoyándose en datos poco confiables.

Limitaciones del estudio: lo que esta investigación no pudo demostrar

Ningún estudio es perfecto, y los autores fueron transparentes acerca de las limitaciones de su estudio:

• Tamaño de la muestra y ubicación: El estudio incluyó solo a 78 médicos de un único sistema de salud en Los Ángeles, lo que puede limitar la generalización de los hallazgos a otras regiones, hospitales o entornos de práctica.
• Variación limitada en las puntuaciones de desempeño: Debido a que el estudio se realizó dentro de un solo sistema de salud, pudo haber un rango restringido de puntuaciones de desempeño, lo que potencialmente dificultó la detección de asociaciones.
• Entorno de centro académico: La investigación se llevó a cabo en un hospital híbrido académico-comunitario, lo que puede no capturar todo el espectro de entornos de práctica. Los autores señalaron que esto evita cierto sesgo de muestreo asociado con entornos puramente académicos, pero aun así limita la generalización.
• Sin acceso a HCAHPS ni a puntuaciones directas de satisfacción del paciente: Los investigadores no tuvieron datos de las encuestas Consumer Assessment of Healthcare Providers and Systems (CAHPS) ni de otros instrumentos formales de satisfacción del paciente. Si bien encontraron asociaciones modestas entre las reseñas en línea y las puntuaciones de satisfacción del consumidor del National Committee for Quality Assurance para planes de seguros (correlación de Pearson = 0.376) en la literatura previa, no pudieron comprobar directamente qué constructo latente estaban capturando realmente las calificaciones en línea.
• Número reducido de reseñas: Con recuentos medianos de reseñas de solo 4 a 9 por médico en todas las plataformas, las calificaciones individuales de los médicos pueden basarse en muestras muy limitadas de opiniones de pacientes.

Los investigadores también señalaron que lo que las calificaciones están midiendo sigue siendo una pregunta abierta: puede reflejar parcialmente la satisfacción del paciente, pero este estudio no pudo identificar de manera definitiva el constructo latente.

Direcciones futuras: cómo podrían mejorarse las calificaciones en línea

A pesar de sus hallazgos negativos, los autores enfatizaron que las evaluaciones de los pacientes sobre los médicos son importantes y seguirán siendo una parte permanente de la atención médica. La pregunta es cómo hacerlas más útiles. Ofrecieron tres recomendaciones concretas:

1. Cree un constructo definible. Los sitios web de calificaciones deben definir claramente qué pretenden medir sus calificaciones y proporcionar instrucciones sobre cómo los pacientes deben evaluar a los médicos en métricas que están bien posicionados para evaluar, como la comunicación, los tiempos de espera y si el médico escucha.
2. Combine las calificaciones con datos de calidad y valor. Dado que las calificaciones en línea claramente no capturan la calidad clínica ni la eficiencia de costos, deben combinarse con datos complementarios sobre estas métricas críticas para que los pacientes puedan ver el panorama completo.
3. Reconozca las limitaciones. Las empresas que ofrecen servicios de calificación de médicos deben asumir la responsabilidad de ayudar a los consumidores a comprender qué pueden y qué no pueden decirles sus puntuaciones, reconociendo que hay mucho en juego cuando los pacientes toman decisiones de atención médica.

Recomendaciones: consejos prácticos para los pacientes

Entonces, ¿qué debe hacer la próxima vez que necesite encontrar un especialista? Con base en esta investigación y en la literatura más amplia, considere estas estrategias:

• No confíe solo en las calificaciones por estrellas. Este estudio muestra que las estrellas no predicen la calidad clínica, el valor de la atención ni la reputación entre colegas. Trátelas como una pequeña pieza de información, no como un factor decisivo.
• Pregúntele a su médico de atención primaria. Su médico de atención primaria trabaja con especialistas todos los días y sabe cuáles se comunican bien, manejan casos complejos de manera eficaz y brindan atención de alta calidad y consciente de los costos. Este es exactamente el tipo de evaluación experta entre colegas que las calificaciones en línea no lograron capturar.
• Busque la adherencia a "Choosing Wisely". La campaña Choosing Wisely promueve la atención basada en evidencia al ayudar a los médicos y pacientes a evitar pruebas y procedimientos innecesarios. Los médicos que siguen estas recomendaciones practican una medicina de alta calidad y basada en el valor.
• Consulte los datos de calidad hospitalaria cuando estén disponibles. Si bien las calificaciones individuales de los médicos no predicen el desempeño, las calificaciones de pacientes a nivel hospitalario han mostrado cierta capacidad para predecir resultados institucionales como los reingresos por infarto de miocardio, insuficiencia cardíaca y neumonía (118). Las herramientas nacionales de comparación de hospitales de los Centros de Servicios de Medicare y Medicaid (CMS) pueden proporcionar un contexto útil.
• Lea los comentarios, no solo las estrellas. Los comentarios de texto libre pueden brindarle información útil sobre el estilo de comunicación, la logística del consultorio y la atención interpersonal, aspectos de la experiencia del paciente que son genuinamente valiosos, incluso si no miden el desempeño clínico.
• Busque información sobre la certificación de la junta y el volumen de procedimientos. Estos estuvieron entre los pocos factores que mostraron correlación con las calificaciones en línea y generalmente se consideran marcadores de la calidad del médico, aunque recuerde que incluso estos tienen limitaciones.

La conclusión de los autores del estudio es simple y directa: "Las calificaciones de consumidores en línea no deben usarse de forma aislada para seleccionar médicos, dada su escasa asociación con el desempeño clínico". Las decisiones de atención médica son demasiado importantes para tomarlas con base en una calificación por estrellas que puede reflejar poco más que si a un paciente le gustó el mobiliario del consultorio o esperó quince minutos adicionales.

Preguntas frecuentes

¿Las calificaciones de médicos en línea predicen la calidad de la atención que brinda un médico?

No, según un estudio de 78 especialistas, las calificaciones por estrellas en línea no mostraron una relación significativa con medidas objetivas de calidad, valor o evaluaciones entre colegas. Entre los médicos con peor desempeño, solo entre el 5 % y el 32 % tenían calificaciones en línea bajas, por lo que las reseñas generalmente no lograron identificar a aquellos con un desempeño clínico deficiente.

¿Puedo usar las reseñas en línea para elegir un especialista?

Los autores del estudio desaconsejan usar únicamente las calificaciones de consumidores en línea para seleccionar a un médico. Las calificaciones no predijeron la calidad clínica, la eficiencia de costos ni la reputación entre colegas. En su lugar, pídale una derivación a su médico de atención primaria, busque la certificación de la junta y lea los comentarios de texto libre para obtener detalles útiles sobre la comunicación y la experiencia en el consultorio.

¿Por qué las calificaciones de médicos en línea no coinciden con el desempeño real?

El estudio encontró que las plataformas en línea no ofrecen orientación sobre qué deben calificar los pacientes, por lo que los resultados son difíciles de interpretar. Las calificaciones pueden reflejar aspectos como la amabilidad del consultorio o los tiempos de espera en lugar de la habilidad clínica. En varias plataformas, la correlación con las medidas de desempeño fue insignificante, e incluso las evaluaciones entre colegas no se alinearon con las estrellas.

¿Qué debo hacer en lugar de depender de las calificaciones por estrellas?

Pregúntele a su médico de atención primaria, quien trabaja con especialistas regularmente y conoce su comunicación y calidad de atención. Busque médicos que sigan las recomendaciones de Choosing Wisely para evitar pruebas innecesarias, y revise los datos de calidad a nivel hospitalario, que pueden ser más informativos que las calificaciones individuales de los médicos.

¿Son más confiables las calificaciones de pacientes sobre hospitales que las calificaciones sobre médicos?

El artículo señala que las calificaciones de pacientes sobre hospitales han mostrado cierta capacidad para predecir resultados institucionales, como reingresos por infarto de miocardio, insuficiencia cardíaca y neumonía. Sin embargo, esta validez no se traslada a los médicos individuales, donde las calificaciones en línea no lograron predecir el desempeño clínico.

¿Hay algo útil en las reseñas en línea, como los comentarios de los pacientes?

Los comentarios de texto libre pueden ofrecer información útil sobre el estilo de comunicación, la logística del consultorio y la atención interpersonal, que son aspectos valiosos de la experiencia del paciente. Sin embargo, las calificaciones con estrellas en sí mismas no miden la calidad clínica, el valor ni la reputación entre colegas, así que trate los comentarios como una pequeña pieza de información.

¿Debo confiar en las calificaciones de médicos en línea al elegir un especialista, y cuándo debo buscar una segunda opinión?

Las calificaciones con estrellas en línea no reflejan de manera confiable la calidad clínica de un médico, el valor de su atención ni su reputación entre colegas. En un estudio de 78 especialistas, las calificaciones no mostraron una relación significativa con las medidas de desempeño, y la mayoría de los médicos con bajo desempeño no fueron identificados por calificaciones bajas. Las calificaciones pueden reflejar la experiencia en el consultorio o los tiempos de espera, no la habilidad. Para elegir un especialista, pregúntele a su médico de atención primaria, verifique la certificación de la junta y lea los comentarios de texto libre para obtener información sobre la comunicación. Si tiene dudas sobre un diagnóstico o un plan de tratamiento, una segunda opinión puede ofrecer una revisión experta independiente. Diagnostic Detectives Network proporciona segundas opiniones expertas independientes.

Información de la fuente

Original article title: Online physician ratings fail to predict actual performance on measures of quality, value, and peer review

Authors: Timothy J. Daskivich, Justin Houman, Garth Fuller, Jeanne T. Black, Hyung L. Kim, and Brennan Spiegel

Journal: Journal of the American Medical Informatics Association (JAMIA), Volume 25, Issue 4, 2018, pages 401–407

DOI: 10.1093/jamia/ocx083

Publication dates: Received March 13, 2017; Revised May 18, 2017; Accepted August 21, 2017; Advance Access publication September 8, 2017

Funding/Institutional review: The study was approved by the Cedars-Sinai Institutional Review Board (IRB) and was conducted as part of a larger initiative within the Cedars-Sinai health system to perform quality ratings of specialty physicians for the purpose of developing new provider narrow networks.

Este artículo orientado al paciente se basa en investigaciones revisadas por pares. Está destinado a fines educativos y no constituye asesoramiento médico. Consulte siempre con un profesional de la salud calificado respecto a las decisiones médicas.