Eine Gruppe von Methodikexperten hat vier Organisationen auf den Kopf gestellt, die Krankenhäuser anhand ihrer Arbeit bewerten. Drei erreichten nur die Noten C und D. Die höchste Note war B.
Die Analyse "Rating the Raters" wurde am 14. August im Katalysator des New England Journal of Medicine (NEJM) veröffentlicht. Es wurden Bewertungssysteme von Healthgrades, Leapfrog, US News & World Report und den Sternenbewertungen der Centers for Medicare and Medicaid Services (CMS) untersucht.
"Aktuelle Qualitätsbewertungssysteme für Krankenhäuser bieten häufig widersprüchliche Ergebnisse - ein Krankenhaus kann bei einem Bewertungssystem am besten und bei einem anderen am schlechtesten abschneiden", sagte der leitende Autor Karl Bilimoria, MD, Direktor des Zentrums für chirurgische Ergebnisse und Qualitätsverbesserung im Nordwesten der Medizin in Chicago, Illinois in einer Pressemitteilung.
"Wir haben festgestellt, dass viele der aktuellen Qualitätsbewertungssysteme für Krankenhäuser mit Vorsicht angewendet werden sollten, da sie die Krankenhausleistung wahrscheinlich häufig falsch klassifizieren und die Öffentlichkeit irreführen", sagte Bilimoria.
Als Reaktion darauf beanstandete Healthgrades die Analyse als "ungenau" und "fehlerhaft", während Leapfrog sie als "Meinungsbeitrag" bezeichnete.
"Die Autoren haben ein Recht auf ihre eigene Meinung und es ist wertvoll, ihre Perspektiven zu hören", sagte Leah Binder, Präsidentin und CEO der Leapfrog Group. "Sie haben jedoch keinen Anspruch auf ihre eigenen Tatsachen."
US News & World Report und CMS schätzten die Analyse mehr.
Angesichts des Fehlens eines Goldstandards für den Aufbau eines Bewertungssystems und des nicht objektiven Vergleichs der Bewertungssysteme bewerteten Bilimoria und Kollegen die Stärken und Schwächen von vier großen Qualitätsbewertungssystemen für öffentliche Krankenhäuser auf der Grundlage ihrer Erfahrung als Wissenschaftler mit Methoden Expertise in der Messung der Gesundheitsqualität.
Kein Bewertungssystem erhielt die Note A oder F. Die höchste Note war B, die von US News & World Report erreicht wurde. Die Sternebewertungen von CMS erhielten die Note C. Die niedrigsten Noten wurden für Leapfrog (C-) und Healthgrades (D +) vergeben.
Die Ermittler identifizierten verschiedene Einschränkungen jedes einzelnen Bewertungssystems und des gesamten Feldes.
"Jedes Bewertungssystem hatte einzigartige Schwächen, die zu einer möglichen Fehlklassifizierung der Krankenhausleistung führten, die von der Einbeziehung fehlerhafter Maßnahmen über die Verwendung proprietärer Daten, die nicht validiert wurden, bis hin zu methodischen Entscheidungen reichte", schreiben die Autoren.
"Zu den Möglichkeiten, den Bereich der Messung der Krankenhausqualität voranzutreiben, gehören die Notwendigkeit besserer Daten, die robusten Audits, aussagekräftigeren Maßnahmen und der Entwicklung von Standards sowie einer soliden Begutachtung durch Fachkollegen zur Bewertung der Methodik des Bewertungssystems unterliegen", so Bilimoria und Kollegen.
Mallorie Hatch, PhD, Direktorin für Datenwissenschaft bei Healthgrades, sagte gegenüber Medscape Medical News, dass die Analyse eine "höchst ungenaue Darstellung der Krankenhausbewertungen von Healthgrades" liefert.
"Die Meinungen zu Healthgrades", sagte Hatch, "sind fehlerhaft, da es zahlreiche Ungenauigkeiten gibt."
Zunächst sagte sie: "Unsere Methoden sind vollständig transparent und öffentlich verfügbar." Zweitens: "Die Autoren haben nur unseren gesamten Krankenhauspreis bewertet, diese Methodik falsch dargestellt und zweckmäßigerweise keine Analyse unserer anderen Service Line Ratings und Auszeichnungen aufgenommen, die viele der Kritikpunkte in dem Artikel angesprochen hätten."
Und drittens: "Während Healthgrades aufgefordert wurde, unsere Methoden zu erläutern und die oben genannten Ungenauigkeiten zu korrigieren, wurde unser Feedback nicht berücksichtigt."
Binder von The Leapfrog Group stellt die Analyse ebenfalls in Frage.
Der Artikel ist ein "Meinungsbeitrag. Er soll weder die Beweise und die Reproduzierbarkeit bieten, die eine traditionelle Studie bieten würde, noch beschreiben die Autoren detailliert, welche Standards sie angewendet haben, um zu ihren Schlussfolgerungen über die vier Bewertungsprogramme zu gelangen", sagte Binder in einer Erklärung gesendet an Medscape Medical News.
"Das heißt, die Rating-Organisationen in dem Artikel würden sich nicht den Luxus erlauben, Krankenhaus-Ratings als zufällige Meinungen ohne grundlegende Genauigkeit und Transparenz abzugeben", fügte sie hinzu.
"Eine rudimentäre Überprüfung der Fakten hätte schwerwiegende Fehler bei der Beschreibung der Bewertungsprogramme von Leapfrog in dem Stück aufgedeckt."
Zum Beispiel sagte Binder: "Die Behauptung, dass Leapfrog nur eine Handvoll Krankenhäuser prüft, die der Leapfrog Hospital Survey Bericht erstatten, ist nachweislich falsch."
Zusätzlich zur "grundlegenden Überprüfung der Fakten" sagte Binder, die Studie hätte "eine größere Glaubwürdigkeit, wenn die Mehrheit der Autoren nicht in Gesundheitssystemen mit einer Vorgeschichte von Fehden mit einer oder mehreren der von ihnen analysierten Rating-Organisationen beschäftigt wäre".
Ben Harder, Chefredakteur und Leiter der Gesundheitsanalyse bei US News & World Report, dessen Unternehmen das Rating "B" erhielt, sagte gegenüber Medscape Medical News, dass die Studie "einen wichtigen Blick auf die Krankenhausbewertungen wirft [und] wir freuen uns, dass die In einer Studie wurde anerkannt, wie schnell wir auf Fortschritte in der Messwissenschaft und auf Rückmeldungen von Patienten, Ärzten und anderen Interessengruppen reagiert haben.
"Die methodischen Änderungen, die wir in diesem Jahr vorgenommen haben, spiegeln unser Engagement für eine kontinuierliche Verbesserung unserer Rankings wider. Die Forscher haben auch unsere Entscheidung getroffen, statistische Anpassungen für den sozioökonomischen Status und andere Faktoren vorzunehmen, um faire Vergleiche zwischen Krankenhäusern zu gewährleisten", sagte Harder.
Ein CMS-Sprecher sagte gegenüber Medscape Medical News: "Die Agentur ist zuversichtlich, dass die Gesamtbewertung der Krankenhausqualität zu systematischen Verbesserungen bei Pflege und Sicherheit führt und entscheidend dazu beiträgt, dass Krankenhäuser auf der Grundlage der Qualität wettbewerbsfähig sind." Die Agentur arbeitet auch mit Patienten, Krankenhäusern und dem Gesundheitswesen zusammen, um ihre Bewertungen zu verbessern, sagte sie.
"Nachdem CMS durch eine Reihe von Hörsitzungen und Beiträge eines technischen Expertengremiums Feedback von Krankenhäusern und anderen Interessengruppen erhalten hatte, entwickelte es potenzielle Änderungen an der Star Ratings-Methodik, die im vergangenen Frühjahr zur öffentlichen Kommentierung freigegeben wurden", stellt sie fest.
Die Agentur ist dankbar für das Feedback, das die Agentur bisher "von verschiedenen Interessengruppen zur Star Ratings-Methodik erhalten hat, einschließlich der Arbeit der Forscher in der Studie, auf die Sie verweisen, und freut sich darauf, in Zukunft Verbesserungen an den Star Ratings zu teilen ", sagte der CMS-Sprecher.
Bilimoria berichtet, dass er ein unbezahlter Berater von US News & World Report und CMS 'Star Ratings war.
NEJM-Katalysator. Online veröffentlicht am 14. August 2019.
Für weitere Neuigkeiten folgen Sie Medscape auf Facebook, Twitter, Instagram und YouTube.
