目录
- 要点
- 这项研究为何重要：在线医师评分的兴起
- 研究是如何进行的
- 关键发现：评分无法预测质量、价值或同行评估
- 评分在各网站之间至少是一致的吗？
- 这对患者意味着什么
- 研究局限性
- 对患者的建议及医疗行业的建议
- 常见问题解答
- 来源信息
要点
- 在西达赛奈的一项针对78位专科医生的研究中，在线医师评分与护理质量、价值或同行评估之间未发现显著关联。
- 根据该研究，高星级评分的医师提供高质量护理的可能性并不比低星级评分的医师更高。
- 在表现处于最低四分位数的医师中，仅有5%–32%的消费者评分也处于最低四分位数；68%–95%的医师被遗漏。
- 研究发现，评分在五家主要网站之间通常是一致的，但这种一致性并不能使其成为表现的有效预测指标。
- 研究人员建议患者仅将在线评分作为参考输入之一，同时结合转诊信息、质量报告以及面对面沟通评估来做出决策。
这项研究为何重要：在线医师评分的兴起
选择医生是个人所能做出的最私密且影响深远的医疗决策之一。然而，对许多患者而言，这一过程已深受在线消费者评分的影响——这与用于评估餐厅、酒店和产品的五星评价如出一辙。
这些评分的普及程度毋庸置疑。一项针对 2,137 名美国成年人的 2012 年调查发现，65% 的人知晓医生评分网站，且59% 的人表示这些网站在挑选医生时“ somewhat important（有些重要）”或“ very important（非常重要）”。更引人注目的是，梅奥诊所对 1,000 名外科患者的调查显示，81% 的人会仅凭正面评价就寻求与某位医生的咨询，而77% 的人不会仅凭负面评价就拒绝寻求咨询。这些趋势并非美国独有——欧洲也报告了类似的模式。
保险公司已注意到这一点。许多支付方现在将在线消费者评分纳入其医生搜索工具中，这表明保险公司也认为这些评分是真实临床表现的可靠衡量标准。鉴于这一发展趋势，研究人员表示，未来消费者评分将在患者选择医生的过程中发挥越来越突出的作用。
但存在一个关键问题：尽管使用广泛，但目前尚不清楚在线评分是否真的能识别出表现优异的医生——甚至不清楚它们究竟在衡量什么。最受欢迎的评分平台未提供关于评估医生时应使用哪些标准任何指导，使得结果难以解读。一些专家曾认为这些评分捕捉的是护理的“ ancillary（辅助）”方面，如诊所环境和员工友好度，而非临床表现，但缺乏强有力的数据支持这一说法。事实上，有限的可用数据表明情况可能恰恰相反。
本研究旨在回答一个基本问题：在线消费者评分是否真的能预测医生的表现水平？
研究如何进行
来自西达赛奈医学中心（Cedars-Sinai Medical Center）的研究人员对78 名医生进行了观察性研究，这些医生代表了8 个内科和外科专科。这些专科包括心脏病科（25 名医生，32%）、神经病学（11 名医生，14%）、肾病学（10 名医生，13%）、产科/妇科（9 名医生，12%）、内分泌学（7 名医生，9%）、耳鼻喉科（6 名医生，8%）、胃肠病学（6 名医生，8%）和一般外科（4 名医生，5%）。西达赛奈医学中心是位于洛杉矶的一家拥有 886 张床位的三级转诊混合疗法学术-社区医院。
最初，西达赛奈医疗配送网络中有 123 名执业医生符合纳入标准。然而，有 30 名医生因未在门诊实践中使用健康系统的电子健康记录而被排除，14 名医生因收到的同行评审调查回复少于 3 份而被排除，另有 1 名医生因没有可用的在线消费者评分数据而被排除。
研究人群在执业环境方面具有多样性：
- 种族：50 名白人（64%），19 名亚裔（24%），9 名其他种族（12%）
- 性别：66 名男性（84%），12 名女性（16%）
- 执业类型：36 名在西达赛奈医疗集团（46%），34 名在私人执业（44%），8 名在教师组（10%）
- 执业年限：中位数为 33.5 年（范围 19–43 年）
如何衡量表现
为了全面捕捉临床表现，研究人员使用了三个独立的评估工具，每个工具检查医生质量的不同维度：
1. 专科特定表现评分。这一综合指标结合了质量和护理价值的客观衡量标准。质量衡量标准包括遵守Choosing Wisely（明智选择）措施（一项旨在减少不必要的医疗检查和程序的全国性倡议）和最佳实践警报。护理价值衡量标准包括在适当时使用仿制药物以及病例组合调整后的住院天数（根据患者病情严重程度调整的医院停留时间）。具体指标因专科而异，并通过与专科医生进行密集的利益相关者参与过程开发而成。每个指标根据其表现相关性被赋予 0 到 100 之间的权重。医生在 2013–2014 财政年度获得评分，对于合格就诊次数少于 20 次的医生，其指标将被剔除。重要的是，评分计算由对消费者评分结果盲法的分析人员执行，从而防止偏差。
2. 初级保健医生（PCP）同行评审评分。32 名初级保健医生使用9 点修改版 RAND 量表（范围从 1 = “完全不同意”到 9 = “完全同意”）对每位专科医生进行评分，基于他们对以下陈述的认同程度：“[姓名] 医生是价值导向医疗保健中的强大合作伙伴。”为避免顺序效应，调查以每个受访者独特的随机顺序呈现专科医生档案，分析中使用了每位医生的平均评分。
3. 管理员调查评分。20 名管理员和医院领导者——包括部门领导、住院临床项目（医院医学、急诊科、重症监护）主任以及拥有专科医生表现广泛知识的人员（医疗主管、学术院长）——使用相同的 9 点量表和问题对相同的专科医生进行评分。该研究还调查了与个别专科相关的群体（例如，对于肾病学家的透析工作人员，对于胃肠病学家内镜工作人员，对于外科医生的麻醉师）。
如何收集在线评分
消费者评分来自根据 Google Trends 统计的5 个最受欢迎的在线平台：Healthgrades、Vitals、Yelp、RateMDs 和 UCompareHealth。每个网站都邀请消费者使用5 星制对医生进行评分。研究人员收集了每位医生的平均评分以及构成该平均评分的评分数量。
各平台上每位医生的消费者评分中位数普遍较低，每位医生仅有4至9条评价。这意味着研究中大多数医生的在线评价不足10条。各平台的中位星级评分均较高，介于4.0至4.5星之间，表明典型的在线评分存在正向偏差。
随后，研究人员使用先进的统计方法——包括多变量线性回归模型——在控制评价数量、医生专科、种族、性别、医学院毕业年数以及执业环境等因素的情况下，确定消费者评分是否与任何绩效指标独立相关。
主要发现：评分无法预测质量、价值或同行评估结果
结果非常明确：在线消费者评分与实际医生绩效的任何指标均无显著关联。
发现1：评分与整体绩效之间无关联
散点图和统计分析显示，各平台上消费者评分与专科特定绩效得分之间存在负相关或弱相关（相关系数范围：−0.18 至 0.02）。换句话说，高星级评分的医生提供高质量护理的可能性并不高于低星级评分的医生——在某些情况下，较高的评分甚至与略差的绩效相关。
多变量回归模型得出了相同的结论。在调整潜在混杂因素后，消费者评分与绩效得分之间不存在统计学上显著或具有实际意义的关联（b系数范围：−0.04 至 0.04）。为了便于理解，医生的在线评分每增加1星，其绩效得分的变化不到0.05分——这一差异微乎其微。
发现2：与同行评审分数无关联
消费者评分也无法预测医生在同事眼中的评价。在线评分与初级保健医生同行评审得分（b系数范围：−0.01 至 0.3）或管理者评分（b系数范围：−0.2 至 0.1之间均无显著关联。对于这两种类型的同行评估，各平台之间的相关性均为弱相关或负相关。
发现3：与质量或价值子领域无关联
研究人员进行了更深入的分析，考察评分是否能至少预测质量的特定方面（如遵循“明智选择”措施和最佳实践警报的情况），或价值的特定方面（如合理使用仿制药和住院时长）。结果：消费者评分与任何涉及质量或基于价值的护理绩效子领域均无关联。
发现4：评分未能识别低绩效医生
最令人信服的发现之一涉及评分标记表现不佳医生的能力。在专科特定绩效得分处于最低四分位数（底部25%）的医生中，仅有5%–32%在不同平台上的消费者评分也处于最低四分位数。这意味着绝大多数低绩效医生仍获得了中等甚至较高的在线评分。
从实际角度来看，如果患者通过筛选星级最低的医生来寻找“最差”的医生，他们将错过68%至95%在客观质量指标上得分较低的医生。
评分在各网站之间至少是一致的吗？
该研究还提出了第二个问题：不同的评分网站之间是否至少能达成一致？如果一位医生在一个平台上获得5星评价，他们在另一个平台上是否也很可能获得5星评价？
答案部分为是。个体医生的消费者评分在各平台间总体保持一致。在10次两两比较中有5次，一位医生在一个平台上的得分能显著预测其在另一个平台上的得分，且所有平台之间均观察到正相关关系。
例如，Yelp评分能显著预测Healthgrades评分（b系数0.28）、Vitals评分（0.52）和UCompareHealthcare评分（0.45）。Vitals评分能显著预测Yelp（0.71）、RateMDs（0.60）和UCompareHealthcare（0.96）的评分。
这种跨平台的一致性表明，在线评分共同测量了某个潜在因素——统计学家称之为“潜变量”——但该因素似乎与临床绩效无关。换句话说，这些网站确实在一致地测量某些东西，只是并非护理质量。
那这个“某些东西”可能是什么？研究人员指出，这部分可能是患者满意度。先前的研究发现，在线评论与保险计划的国家质量保证委员会（NCQA）消费者满意度评分之间存在适度关联（Pearson相关系数 = 0.376）。作者认为，明确这一潜变量至关重要，因为它至少能告诉患者星级评分的实际含义——而星级评分对大多数患者的医生选择具有强烈影响。
这对患者意味着什么
这些发现对目前仅凭评分选择医生的80%的医疗消费者具有直接且重要的影响。如果您是其中一位患者，这项研究对您意味着：
- 5星评分并不意味着医生提供的护理质量高于获得3星的同行。事实上，本研究发现评分与客观质量指标之间没有关系，有时甚至呈轻微负相关。
- 在线评分无法帮助您识别表现不佳的医生。在本研究中，大多数表现得分较低的医生仍然拥有中等或较高的在线评分。
- 评分可能衡量的是护理的“体验”（患者对就诊的感受），而不是护理的“临床”质量（医生治疗疾病的效果）。这两者相关但截然不同。
- 跨平台的一致性并不意味着评分有效。尽管医生在不同网站上往往获得相似的评分，但本研究表明这些一致的分数仍然无法预测表现。这就像多个秤都在称量同一错误重量的食材一样。
这并不是说患者的意见不重要。研究人员强调，患者对医生的评估很重要，且这些信息“将长期存在”。但这项研究强调了需要将在线评分作为更大拼图中的一部分来使用——而不是选择医生的唯一依据。
研究局限性
每项科学研究都有其局限性，作者对其中几项进行了透明说明：
- 样本量和研究环境。这是一项在洛杉矶一家大型城市医疗交付系统内进行的单机构研究。虽然样本包含了多样化的执业环境（教职员工、医疗集团和私人执业），但结果可能无法完全推广到其他地区、较小医院或农村医疗环境。
- 潜在的选择偏倚。同行评审调查虽然精心设计，但可能未能捕捉到医生表现的所有维度。此外，该研究依赖于至少有3次同行评审响应的医生，这可能排除了一些专科医生。
- 每位医生的在线评论数量有限。在各平台上，每位医生的中位评论数仅为4–9条，平均评分基于非常小的样本。一条额外的负面评论可能会显著改变医生的平均分。这反映了现实世界中评分平台数据稀疏的现状，但也意味着本研究使用的是 somewhat 不稳定的评分估计值。
- 避免了纯粹的学术环境。作者指出，他们无法获取消费者医疗提供者系统评估（CAHPS）数据或正式的患者满意度评分，并承认在纯粹学术环境中测试相同问题所涉及的抽样偏倚。
- 观察性设计。与所有观察性研究一样，研究人员可以证明关联（在本例中为缺乏关联），但无法证明因果关系。
尽管存在这些局限性，该研究的方法论是稳健的：它评估了医生在多个维度（质量、价值、来自初级保健医师和管理人员的同行评估）的表现，使用了通过利益相关者参与开发的客观、专科特定指标，并在统计模型中调整了重要的医生特征。作者认为，大型研究不太可能以如此细致和多模态的水平评估医生表现。
对患者和医疗行业的建议
鉴于现有证据，患者应该怎么做——医疗行业如何改进医生评分系统？研究人员提出了几项具体建议。
对于患者
- 不要仅依赖在线评分。研究的结论是明确的：“不应单独使用在线消费者评分来选择医生。”将评分仅作为与其他信息来源结合的一个输入。
- 寻求客观的质量数据。查找医院和医生质量指标的公开数据。向您的初级保健医生寻求转诊——本研究发现，初级保健医师对专科医生的同行评估与在线评分无关，这意味着他们的推荐可能提供真正不同（且有用）的信息。
- 考虑评分究竟衡量了什么。 如果您确实阅读在线评论，请将其视为患者体验的反映——如候诊时间、床旁态度和沟通风格——而不是医疗技能或结果的衡量标准。
- 检查多个来源。 虽然评分在不同平台之间保持一致，但这种一致性对有效性的说明甚少。相反，应多样化您咨询的信息类型：保险网络、医院质量报告、与其他医疗保健专业人员的咨询，以及亲自评估您是否感到被医生倾听和尊重。
针对医疗行业和评分网站
- 建立可定义的构念。 消费者评分网站应明确说明其评分旨在衡量的内容，并提供清晰的指导，说明患者应如何在其具备评估能力的指标（如沟通和共同决策）上评估医生。内容应由专家和患者利益相关者共同提供信息，以最大限度地提高相关性和内容效度。
- 将评分与绩效数据配对。 在线评分应与互补的护理质量和价值数据一起呈现，因为本研究表明，这些至关重要的数据并未被消费者评分所捕捉。
- 接受局限性责任。 提供医生评分服务的公司有责任帮助其客户理解在选择医生时消费者评分的局限性——尤其是因为在这种情况下， stakes（利害关系）高于任何其他消费者购买情境。
效度问题
研究人员还应用了心理测量框架——即用于验证任何问卷的相同标准——来评估在线医生评分。他们得出结论，这些评分甚至未能通过基本的效度测试：
- 表面效度（它看起来是否像衡量了它应该衡量的内容？）： 失败。在没有关于如何评估医生的任何建议的情况下，不清楚五星评分是否衡量了任何明确的构念。
- 内容效度（它是否涵盖了重要的方面？）： 失败。不同平台之间没有测量一致的患者体验类别。
- 预测效度（它是否能预测未来的表现？）： 失败。本研究表明，评分不能预测医生在质量、价值或同行评审指标上的表现。
- 同时效度（它是否能区分高绩效者和低绩效者？）： 失败。只有 5%–32% 的低绩效医生被低评分所捕捉。
先前的研究表明，在线评分可以预测一些粗略的质量指标，如董事会认证、医学教育质量、医生工作量和医院层面的结果（包括医院消费者医疗保健提供者评估系统评分和心肌梗死、心力衰竭和肺炎的医院再入院率）。一项针对英国国民卫生服务体系（NHS）选择数据的英国研究发现，“推荐”医生状态与患者体验之间存在中度关联（Spearman's 0.37–0.48，P < .001），但与临床过程和结果指标的关联较弱（Spearman's less than 0.18，P < .001）。
然而，这项新研究独特之处在于其对个体医生在质量、价值和同行评审指标方面的表现进行了细致、多维度的评估——其发现清楚地表明，医生层面质量数据的粒度至关重要。在医院层面成立的情况在个体医生层面并不成立。
研究人员总结道：“我们的结果支持医疗保健利益相关者长期以来的一种信念：消费者评分分数不能反映个体医生提供的基本护理质量和价值——这无疑是选择医疗保健提供者时最重要的标准之一。”
常见问题解答
在线医生评分是否反映了医生提供的护理质量？
不，根据西达赛奈医学中心对 78 名专家的一项研究。研究人员发现，在线星级评分与临床质量、护理价值或同行评估的客观衡量标准之间没有有意义的关系。高评分并不能预测更好的表现，一些获得高评分的医生的表现分数甚至略差。
我应该仅使用在线评分来选择医生吗？
研究人员建议不要这样做。他们的研究发现，在线评分不能预测质量、价值或同行评估。如果您使用最低评分来寻找表现不佳的医生，您将错过 68% 到 95% 在客观质量指标上实际得分较低的医生。仅将评分作为众多输入之一使用。
该研究如何评估医生的表现？
研究人员对78位专科医生测量了三项指标：结合“明智选择（Choosing Wisely）”依从性等质量指标与适当使用仿制药、住院时长等价值指标的专科特定表现评分；来自全科医生的同行评审评分；以及管理人员的问卷调查评分。随后，他们将这些评分与在线星级评分进行了比较。
不同网站上的在线评分是否至少保持一致？
是的，部分一致。同一位医生在五大主要平台上的评分总体上一致，大多数两两比较中均呈正相关。然而，这种一致性并不意味着评分有效。研究表明，这些一致的评分仍无法预测临床表现、护理价值或同行评价。
如果在线评分不能反映质量，那它们实际测量的是什么？
该研究认为，在线评分可能部分反映了患者满意度或就医体验，例如等待时间、床旁态度和沟通能力。然而，研究人员表示尚不清楚这些评分究竟衡量了什么。他们发现，评分无法预测医生表现的质量、价值或同行评估结果。
这项关于医生评分的研究有哪些局限性？
这是一项在洛杉矶进行的单中心研究，涉及78位专科医生，因此结果可能不适用于其他地区。每位医生的在线评论中位数较低，仅为4至9条，导致平均评分不稳定。此外，该研究仅能显示关联性，无法证明因果关系，且未包含正式的患者满意度评分。
患者不应依赖在线评分，那应该怎么做？
向您的全科医生寻求转诊，因为同行评估与在线评分并不相符，可能提供有用的信息。查找医院和医生的公开质量数据。如果您阅读评论，请将其视为患者体验的反映，而非医疗技能的体现。检查多个来源，并评估您是否感到被医生倾听。
何时应该寻求第二诊疗意见，而不是依赖在线医生评分？
在线医生评分无法预测实际的护理质量、成本效率或同行评价。在研究的78位专科医生中，消费者星级评分与任何客观表现指标均无显著关联，且大多数表现较差的医生仍获得了平均或较高的评分。对于重要的医疗决策，评分仅应作为参考输入之一。独立专家的第二诊疗意见可以提供在线评论无法提供的可靠指导，特别是在选择接受重大治疗的医生时。Diagnostic Detectives Network 提供独立专家第二诊疗意见。
来源信息
Original Article Title: Online physician ratings fail to predict actual performance
DOI: 10.1093/jamia/ocx083
Authors: Timothy J. Daskivich, Justin Houman, Garth Fuller, Jeanne T. Black, Hyung L. Kim, and Brennan Spiegel
Journal: Journal of the American Medical Informatics Association (JAMIA), Volume 25, Issue 4, 2018, pages 401–407
DOI: 10.1093/jamia/ocx083
Publication Details: Advance Access publication date: September 8, 2017. Received March 13, 2017; Revised May 18, 2017; Accepted August 21, 2017.
Affiliations: Division of Urology, Cedars-Sinai Medical Center; Cedars-Sinai Center for Outcomes Research and Education (CS-CORE); Department of Medicine, Division of Health Services Research, Cedars-Sinai Health System; Resource and Outcomes Management Department, Cedars-Sinai Health System; and Department of Health Policy and Management, UCLA Fielding School of Public Health, Los Angeles, CA, USA.
这篇患者友好型文章基于同行评审的研究。其目的是提供信息，不构成医疗建议。在做出任何医疗决策时，请务必咨询合格的医疗保健专业人员。
