Kritik und Neuerungen

2010 wurden Hasseler und Wolf-Ostermann vom GKV Spitzenverband mit der wissenschaftlichen Evaluation der Transparenzvereinbarungen betraut. Im Juli 2010 legten sie einen umfangreichen Bericht vor, der unter Anderem die Benennung und Begründung von Schwachstellen und Empfehlungen für Verbesserungen enthält.⁷² Im Folgenden werden die bedeutendsten Kritikpunkte und Lösungsvorschläge beschrieben, welche zudem im Evaluationsbericht des MDS und SEG 2⁷³ und in der Stellungnahme von Dr. Bonato⁷⁴ aufgeführt werden und somit die Schwachstellen der Transparenzvereinbarungen bestätigen.

Die Ergebnisse von Hasseler und Wolf-Ostermann basieren auf qualitativen und quantitativen Sekundärdaten aus einem Abschlussbericht des MDS und entsprechenden aggregierten Rohdaten von 1159 Pflegeeinrichtungen, Protokollen zu 62 Interviews, die vom Meinungsforschungsinstitut GfK zur Verständlichkeit und Verbraucherfreundlichkeit der Transparenzberichte durchgeführt wurden und drei Protokollen eines Expertenworkshops.⁷⁵ Bei der Analyse wurde großen Wert auf die Beurteilung der Methodik und des Inhalts des Instruments gelegt. Am Anfang der Auswertung steht die Beurteilung der Gütekriterien, da mit ihnen die Qualität eines Instruments bewertet werden kann.⁷⁶ Die Wissenschaftlerinnen konnten dem Verfahren trotz existierender

70 MDS, GKV-Spitzenverband (2009) S.222.

71 § 115 Abs. 1a SGB XI.

72 Vgl. Hasseler, Wolf-Ostermann (2010).

73 Vgl. MDS, SEG2 (2010).

74 Vgl. Bonato (2010).

75 Vgl. Hasseler, Wolf-Ostermann (2010) S. 76f.

76 Vgl. Bortz, Döring (2006) S. 195.

14

Ausfüllanleitung lediglich eine eingeschränkte Objektivität bescheinigen. Allein die Auswertungsobjektivität ist durch das standardisierte Umrechnungsverfahren gegeben.

Zur Reliabilität konnten keine Aussagen gemacht werden, da verschiedenste Tests aufgrund der ungenügenden Rohdaten nicht durchführbar waren. Ebenso konnte nicht festgestellt werden, ob das Instrument tatsächlich Pflegequalität misst.⁷⁷ Bei der Bewertungssystematik wird vorwiegend die dichotome Skalierung kritisiert und die Frage aufgeworfen, warum die Skalenwerte null und zehn statt null und eins verwendet werden.

Aus den Werten der personenbezogenen Kriterien wird ein Mittelwert gebildet, obwohl dies ein metrisches Skalenniveau erfordert. Demnach ist das derzeit praktizierte Verfahren der Mittelwertbildung bei nominalen Skalenwerten methodisch unzulässig.

Problematisch ist außerdem die Zuordnung der Noten zu einzelnen Kriterien hinsichtlich ihrer Stichprobengrößen. Zum Beispiel können die Notenwerte 4,2; 4,0; 3,0 und 1,1 einzelnen Kriterien nicht zugeordnet werden. Aus der Anzahl der einbezogenen Personen ergeben sich somit feste Notenstufen. Je kleiner die Stichprobe, desto größer ist das Gewicht einer Bewertung und somit die Differenz zwischen den einzelnen Notenstufen.⁷⁸ Bezüglich der Stichprobenauswahl geht aus der Analyse der aggregierten Rohdaten hervor, dass in stationären Einrichtungen vorwiegend geringe Fallzahlen verwendet werden. Diese betragen im Durchschnitt 7,5 Bewohner.⁷⁹ Die weiterführende Auswertung von Daten aus bisherigen Transparenzberichten zeigt zudem, dass bei stationären Pflegeeinrichtungen einige Kriterien vorhanden sind, für die bei 50% der Pflegeheime keine Bewertung vorgenommen wurde. Überdies wurden teilweise Fallzahlen nicht dokumentiert oder ein Notenwert von 6,0 eingetragen, der in der vorhandenen Bewertungssystematik nicht existiert. Weitere Auffälligkeiten bestehen im Bereich der Notenverteilung, die sich besonders auf die Randbereiche konzentriert, und im Erhalt guter Gesamtnoten trotz einer großen Anzahl schlechter Noten in Einzel- und Risikokriterien.⁸⁰

Mit Hilfe der Interviewprotokolle wurde die Tauglichkeit des Verfahrens, der Bewertungssystematik und der Ergebnisdarstellung aus Sicht der Befragten beurteilt. Die Transparenzberichte wurden von den Studienteilnehmern als hilfreich und nützlich bei der Suche und Auswahl einer Pflegeeinrichtung beschrieben. Jedoch geben Hasseler und Wolf-Ostermann zu bedenken, dass es in der Forschungsliteratur noch keinen Beweis dafür gibt, dass durch Qualitätsberichte Informationsbedürfnisse befriedigt und Entscheidungen gesteuert werden. Ferner wurde bestätigt, dass sich die Veröffentlichung im Internet bewährt hat. Es werden allerdings weitere ergänzende Zugangswege

77 Vgl. Hasseler, Wolf-Ostermann (2010) S. 95-105.

78 Vgl. Hasseler, Wolf-Ostermann (2010) S. 271.

79 Vgl. Hasseler, Wolf-Ostermann (2010) S. 272.

80 Vgl. Hasseler, Wolf-Ostermann (2010) S. 273.

15

gefordert. Im Allgemeinen werden die Transparenzberichte als verständlich beurteilt, dennoch wurden Layout, Stichprobenumfang und die Nachvollziehbarkeit des Prüfverfahrens und der Notenzuordnung kritisiert. Bezüglich der angegebenen Kriterien äußerten die Interviewten ein erhöhtes Interesse an den Kosten, umfangreiche Informationen zu Leistungen und einer Stellungnahme der Pflegeeinrichtungen.⁸¹

Aus den im Evaluationsbericht geschilderten Schwachstellen wurden Lösungsvorschläge abgeleitet und beschrieben. Dazu gehören aus methodischer Sicht insbesondere die Überprüfung der Gütekriterien Objektivität, Reliabilität und Validität, die Kontrolle der Aussagekraft der einzelnen Kriterien und eine entsprechende Anpassung und die Überarbeitung der Ausfüllanleitung um eine einheitlichere Bewertung zu sichern. Hinzu kommen Vorschläge zur Verbesserung der Bewertungs- und Berechnungssystematik.

Diese beziehen sich auf die Einführung einer mehrstufigen an Stelle einer dichotomen Skala, um Abstufungen des Erfüllungsgrads eines Kriteriums zu erreichen, auf eine Risikoadjustierung, auf die Festlegung einer Untergrenze von fünf Bewohnern für die Stichproben und auf die Angabe der Noten als Wort anstatt von konkreten Zahlenwerten.

In Hinsicht auf die Vergleichbarkeit der beurteilten Leistungen fordern Hasseler und Wolf-Ostermann, dass die Berechnung und Darlegung der Bereichsnoten eine Bewertung von mindestens 80% der Kriterien eines Qualitätsbereichs voraussetzen. Sie empfehlen außerdem die Einbeziehung von Risikokriterien, welche eine stärkere Gewichtung innehaben und bei Nicht-Erfüllung nicht durch weniger relevante Kriterien ausgeglichen werden können.⁸² Aus inhaltlicher Sicht regen sie dazu an, fundamentale Aspekte der Transparenzvereinbarungen zu überarbeiten. Dies beinhaltet neben der Festlegung einer Definition des Qualitätsbegriffs, die ausgewählten Kriterien zu hinterfragen und dem Zweck der Transparenzberichte anzupassen, Indikatoren als Maßstab zur Messung zu bevorzugen und in diesem Zusammenhang die Ergebnisse des Projekts „Entwicklung und Erprobung von Instrumenten zur Beurteilung von Ergebnisqualität in der stationären Altenhilfe“ zu berücksichtigen. Weitere Empfehlungen betreffen unter Anderem die Erhöhung des Bekanntheitsgrads über zusätzliche Anlaufstellen, die Berücksichtigung von Verbraucherpräferenzen hinsichtlich der Auswahl, die Verbesserung des Layouts und die Ergänzung durch weitere Entscheidungshilfen.⁸³

Basierend auf den Evaluationsergebnissen von Hasseler und Wolf-Ostermann wurden im Juni 2013 Änderungen in den Pflegetransparenzvereinbarungen beschlossen, die seit

81 Vgl. Hasseler, Wolf-Ostermann (2010) S. 276-281.

82 Vgl. Hasseler, Wolf-Ostermann (2010) S. 281-285.

83 Vgl. Hasseler, Wolf-Ostermann (2010) S. 286-298.

16

01.01.2014 in Kraft getreten sind. Bereits im Vorwort wird dargestellt, dass sie dynamische Instrumente sind, die entsprechend dem aktuellen Wissensstand kontinuierlich weiterentwickelt werden. Die empfohlene Integration der Indikatoren zur Messung von Ergebnisqualität aus dem Projekt von Wingenfeld und Engels konnte nicht vorgenommen werden, da die Überprüfung des Nutzens noch aussteht.⁸⁴ Dies wurde bereits kritisiert und bei einer möglichen Einigung auf das Instrument eine flächendeckende Einführung für frühestens 2016 prognostiziert.⁸⁵ Das Netzwerk Gesundheitswirtschaft Hannover hingegen hat unabhängig davon eine Initiative zur Umsetzung der sogenannten Wingenfeld-Kriterien gestartet.⁸⁶

Über die Änderungsvorschläge entschied die Schiedsstelle, da sich die Vertragspartner nicht einigen konnten. Seit Januar 2014 gibt es statt 82 nur noch 77 Kriterien und 20 besonders pflegerelevante Kriterien wurden am Anfang platziert und hervorgehoben.

Weiterhin wurde die Stichprobenauswahl dahingehend überarbeitet, dass nun der Umfang von der Einrichtungsgröße unabhängig ist und aus jeder Pflegestufe drei Bewohner einbezogen werden. Die Skalenwerte für die Notenzuordnung wurden ebenfalls korrigiert und bei der Darstellung der Ergebnisse auf Kriteriumsebene werden für personenbezogene Kriterien Anteilswerte und bei dichotomen Skalenwerten „ja“ oder

„nein“ angegeben.⁸⁷ Der Vorschlag hinsichtlich der Einführung von Risiko- oder Kernkriterien wurde von der Schiedsstelle nicht angenommen.⁸⁸