2 Theoretischer Rahmen und methodischer Ansatz
2.1 Studienteil I: Internationales Benchmarking
2.1.2 Vorgehensweise und Methodik: Digital-Health-Index
Benchmarking
„Benchmarking“ kommt als Begriff ursprünglich aus dem Vergleich von Produkten und Produktionsweisen. Eine Benchmark ist im ursprünglichen Sinne eine Größenmarkierung, die von einem Muster oder Standard stammt und mit der z. B. ein Werkstück verglichen wird. In der vergleichenden Politikanalyse wird unter einem Benchmarking in der Regel ein multidimensionaler Vergleich bestehender Praktiken miteinander verstanden, wobei Unter-schiede erkannt und Best-Practice-Beispiele herausgearbeitet werden können. An diesen Best Practices soll sich dann im Idealfall das Reformbemühen orientieren, das das Bench-marking vorher angestoßen hat, um zu ähnlich guten Ergebnissen zu kommen. In dieser vereinfachten Sichtweise sind natürlich Systembedingungen und Pfadabhängigkeiten zu- nächst nicht berücksichtigt.
Zum Zwecke des Benchmarkings wird in der Regel ein Messinstrumentarium entworfen, das System-Indikatoren zusammenträgt und z. B. Vorbedingungen, Aufwände, Ergebnisse und Impact misst.
Häufig werden als Benchmark dann keine objektiven Standards, sondern die „besten“
gemessenen Werte der Stichproben verwendet, wobei – wenn von einer Unabhängigkeit der Messdimensionen ausgegangen wird – diese „besten“ Werte auf verschiedenen
Dimensio-nen, also auch von unterschiedlichen Untersuchungsobjekten (hier: Ländern), stammen kön-nen. Die Benchmark wäre dann das Profil der jeweils „besten“ Messwerte in der Stichprobe.
Nimmt man hingegen Zielkonflikte oder Trade-offs zwischen den Untersuchungsdimen-sionen an, können naturgemäß nicht alle DimenUntersuchungsdimen-sionen gleichzeitig optimiert werden, und die Performanz auf einer Dimension ist dann erkauft durch eine „schlechtere“ Performanz auf einer anderen Dimension. Zwei Profile wären dann nicht ordinal vergleichbar, sondern womöglich nur Ausdruck einer Optimierung auf Grundlage einer anderen Präferenzordnung.
Es ist daher wichtig, diese vereinfachenden Annahmen (keine Zielkonflikte, keine Berück-sichtigung von Vorbedingungen durch Systemunterschiede) bei der Rezeption der Index-werte stets mitzubedenken. Eine Benchmark ist in diesem Sinne dann schlicht zu verstehen als „bestmögliche gefundene Praxis“ und nicht notwendigerweise als die im bestehenden nationalen Kontext anzustrebende Zielgröße.
Das Benchmarking der vorliegenden Studie erfolgt maßgeblich durch die Entwicklung und Nutzung von Indizes oder sogenannten Komposit-Indikatoren, die im folgenden Kapitel genauer erläutert werden. Der Digital-Health-Index und seine Sub-Indizes ordnen und fassen die erhobenen Daten über den Digitalisierungsstand und die jeweiligen Politik-Aktivitäten in einer bzw. in wenigen thematisch gegliederten Maßzahlen zusammen und erleichtern so den Zugang und die Kommunikation der komplexen Einzelergebnisse der vorliegenden vergleichenden Forschung.
Indizes sollen dabei keinesfalls vergleichende Analysen von Erfolgsfaktoren oder nationalen Besonderheiten ersetzen, sie sollen vielmehr den Einstieg in weitergehende Betrachtungen und die Generierung neuer Hypothesen erleichtern. Wie bei jeder Komplexitätsreduktion gehen auch in der Konstruktion von Indizes Informationen zugunsten von gröberen Orien-tierungsheuristiken verloren. Wenngleich also ein Index-Ansatz eine Rangfolgenbetrach-tung von Systemen ermöglicht, wie dies im Folgenden geschieht, ersetzt sie niemals die Analyse von Einzelfällen und kontextabhängigen Begründungszusammenhängen.
Komposit-Indikatoren
Komposit-Indikatoren, oder Indizes, kombinieren über mathematische Operationen die Werte einzelner Indikatoren zu einem Indexwert. Komposit-Indikatoren werden haupt-sächlich genutzt, um multidimensionale Konzepte, wie z. B. Bildung, Wohlstand, digitale Geschäftstätigkeit, zu erfassen und ihre Komplexität zwecks einfacherer Vergleichbarkeit zu reduzieren. Dennoch gibt es divergierende Ansichten in Bezug auf den Mehrwert von Komposit-Indikatoren, besonders wenn diese stark zusammengefasst sind.
Ungeachtet dessen ist zu konstatieren, dass die Verwendung von Indizes in den letzten Jahrzehnten weiter zugenommen hat und sich mittlerweile ein Konsens bezüglich Stan-dards guter Praxis in der Indexerstellung herauskristallisiert. Insbesondere die Verein-ten Nationen, z. B. mit dem Human Development Index10, sowie die OECD und das Joint Research Centre der Europäischen Kommission11 haben wegweisende Arbeit geleistet. Es gibt mittlerweile zahlreiche Beispiele, die die Nützlichkeit von Indizes untermauern, ins- besondere in Politikbereichen, die sich ihrer Art nach nicht mit ein oder zwei einfachen
10 Anand, S. und Sen, A. (1994). Human Development Index: Methodology and Measurement. New York: UNDP.
11 Organisation for Economic Co-operation and Development (OECD) und Joint Research Centre (JRC) (2008).
Handbook on Constructing Composite Indicators: Methodology and Users’ Guide. [pdf] Paris: OECD Publications.
Indikatoren messen lassen. Indizes kommen dann als Instrumente infrage, öffentliche Debatten zu bestimmten politischen Zielen anzustoßen, zumindest dann, wenn eine ein-heitliche Messbarkeit der zugrunde liegenden Phänomene gegeben ist.
Trotz der Kontroversen in Bezug auf die Verwendung von Indizes zur Politikanalyse und deren Limitationen sind sie ein viel genutztes Mittel bei komplexeren internationalen Benchmarkings, wie z. B. den diversen Rankings, die im Umfeld des World Economic Forum entstanden sind – wie etwa dem Global Competitiveness Index, dem Networked Readiness Index oder dem Inclusive Development Index.
Die zehnschrittige Anleitung zur Konstruktion von Komposit-Indizes aus dem OECD / JRC-Handbuch12 liefert ein robustes Rahmenwerk zur Arbeit mit Indizes. Für die hier angewen-dete Methode wird im Folgenden besonders auf diese Schritte eingegangen.
Aufbau und Bildung des Digital-Health-Index
Digital Health und der Digitalisierungsstand eines Gesundheitswesens werden durch die Survey-Fragen erfasst und in den drei in Kapitel 1 vorgestellten thematischen Dimensionen gegliedert. Diese drei Dimensionen sind im Fragebogen für die nationalen Korrespondenten ausführlich abgedeckt. Die drei thematischen Themenblöcke der Fragebogen-Erhebungen lassen sich in einem Überblick zusammenfassen:
Abbildung 2 zeigt erste Beispiel-Indikatoren für die einzelnen Dimensionen. Gleichzeitig wird durch die Pfeile deutlich, wie sich die Dimensionen gegenseitig beeinflussen. Jede der
12 Organisation for Economic Co-operation and Development (OECD) und Joint Research Centre (JRC) (2008).
Handbook on Constructing Composite Indicators: Methodology and Users’ Guide. [pdf] Paris: OECD Publications.
Verfügbar: http://www.oecd.org/sdd/42495745.pdf.
TABELLE 2: Komposit-Indikatoren – Chancen und Risiken
Chancen von Komposit-Indikatoren * Risiken von Komposit-Indikatoren KIs erfassen komplexe, mehrdimensionale Konzepte
durch Reduzierung ihrer Komplexität:
Sie liefern das „Big Picture“
Irreführende, unterkomplexe oder invalide Botschaften:
Durch KIs können politische Entscheidungsträger
„pseudo-informierte“ Entscheidungen treffen.
KIs sind ein leistungsstarkes Werkzeug zur Visualisierung
Überaggregation: Die Aussagekraft von KIs nimmt ab, wenn zusammengesetzte Indikatoren zu heterogen sind KIs sind ein Instrument, um eine öffentliche Debatte
auszulösen („Warum sind die Zahlen so wie sie sind?“)
„Populismus“: KIs schaffen vereinfachte Diskussionen (und möglicherweise politische Entscheidungen) KIs ermöglichen / erleichtern ein Benchmarking Folgekosten: KI erhöhen die Menge der benötigten Daten
Zugrundeliegende Annahmen der Befürworter Zugrundeliegende Annahmen der Gegner Es ist möglich, aus verschiedenen Komponentendaten
eine sinnvolle „Bottom Line“ zu berechnen
Die statistische Darstellung der Realität sollte an dem Punkt enden, an dem ein geeigneter Satz von (einzelnen) Indikatoren erstellt wurde.
KIs sind eine bewährte Methode und unverzichtbar in datenintensiven Sektoren, insbesondere bei Finanzdienstleistungen (z. B. Aktienindizes).
Willkür bei der Gewichtung von Komponenten- Indikatoren; „Gewichtung“ ist jedoch unvermeidlich;
selbst die Verwendung des gleichen Gewichts für jeden Komponenten-Indikator ist eine Form der Gewichtung
* Adaptiert nach Saisana, M., and Tarantola, S. (2002). Composite indicators: the art of mixing apples and oranges.
Ispra: Joint Research Center of the European Commission. Sowie Organisation for Economic Co-operation and Development, (OECD) and Joint Research Centre, (JRC), (2008).
Quelle: Bertelsmann Stiftung
TABELLE 3: Anleitung zur Konstruktion von Komposit-Indizes
Da Primärdaten erhoben wurden, musste sich die Auswahl der Variablen nicht an Verfügbarkeiten orientieren, sondern an der Erhebbarkeit im Rahmen der Studie.
Die Variablen wurden dann aus dem konzeptionellen Rahmen abgeleitet,
indem die drei Unterkategorien so erschöpfend wie möglich operationalisiert wurden.
Imputation fehlender Daten
Imputationen fehlender Daten finden nicht statt. Lediglich wo Indikatoren die An- oder Abwesenheit von Merkmalen messen, wird bei vermuteter Abwesenheit von bestimmten Merkmalen, die uns Korrespondenten jedoch nicht endgültig bestätigen wollten, tatsächliche Abwesenheit angenommen (sprich: ohne Evidenz nimmt ein Indikator also den Wert 0 an).
Multivariate Analyse Auf eine multivariate Analyse z. B. zur Dimensionsermittlung (Faktorenanalyse) oder zum Ausschluss hochkorrelierter Indikatoren wurde aufgrund der geringen Fallzahl (n = 16) verzichtet.
Normalisierung der Daten
Alle Indikatoren sind auf den Werteraum [0;1] normiert. 1 ist dabei immer der „positive“
Wert, der eine höhere Entwicklungsstufe von Digital Health abbildet.
Gewichtung und Aggregation
Es wurde keine Gewichtung der Einzel-Indikatoren vorgenommen. Eine implizite Gewichtung ergibt sich aus der Entscheidung, jedem Sub-Index das gleiche Gewicht zu geben. Dadurch ergibt sich unausweichlich eine implizite Gewichtung in dem Sinne, dass die Indikatoren in jenen Sub-Indizes, die aus zahlreichen Indikatoren zusammen- gestellt werden, untergewichtet werden, während die Indikatoren in schmaler bevölkerten Sub-Indizes hochgewichtet werden. Der Effekt ist aber inhaltlich zu rechtfertigen*, da jedem konstituierenden Konstrukt eines Sub-Index das gleiche Gewicht gegeben werden soll.
Robustheit und Sensibilität
Die Werte eines einzelnen Indikators haben wegen der großen Indikatorenzahl keinen entscheidenden Einfluss auf die Ergebnisse des Gesamtindex. Die Gewichtung wurde bewusst einfach gewählt, sodass der Einfluss jedes der drei Sub-Indizes ungefähr gleich groß ist.
Zurück zu den Details
Die Empfehlung, die Indexergebnisse zum Anlass einer tieferen Analyse der sie konstituierenden Details zu nehmen, wird ausdrücklich geteilt. Eine Analyse der Korrelationen der Sub-Indizes untereinander folgt.
Links zu anderen Variablen
Eine Betrachtung nach Systemvariablen sowie nach Variablen wirtschaftlicher Reife wird unternommen.
Präsentation und Verbreitung
Primäres Ziel der Untersuchung ist – neben dem reinen Erkenntnisinteresse – die Auf- bereitung und Empfehlung von politischen Handlungsoptionen. Diese Arbeitsschritte sind der Indexerstellung und analyse nachgeordnet, jedoch wurde diese Zielkonstellation in der Indexkonstruktion mit berücksichtigt.
* Oft wird keine Gewichtung fälschlicherweise als neutrale Wahl gewertet – das ist sie jedoch nicht und kann zu einem Bias (Voreingenommenheit) führen. Gleiche Gewichte führen dazu, dass jeder Basis-Indikator gleich viel wert ist. Wird dies auf zwei Indikatoren mit hoher Korrelation angewendet, kommt dieses Vorgehen einer Doppelwertung gleich. Auch wenn die Basis-Indikatoren in Untergruppen gruppiert werden – mit den Komposit-Basis-Indikatoren konstruiert aus Letzteren –, resultiert dies in asymmetrischen Strukturen: Da die Untergruppen mehr Basis-Indikatoren enthalten, haben sie demnach mehr Gewicht. Dies ist allerdings ohne theoretische Grundlage nicht zu rechtfertigen und entspringt einzig und allein einer nicht durchdachten technischen Entscheidung. Die gleiche Gewichtung von willkürlich ausgewählten Basis-Indikatoren zementiert dieses Problem. Das in Fußnote 12 genannte Handbuch betrachtet die Anwendung von Hauptkomponentenanalysen und Faktoranalysen als eine geeignete Methode, um Gewichtungen zu ermitteln (vorausgesetzt, dass Basis-Indikatoren korrelieren).
Quelle: Bertelsmann Stiftung
ABBILDUNG 2: Überblick Digital-Health-Index
Quelle: Bertelsmann Stiftung
Tatsächliche Nutzung und Austausch von Daten Technische Implementierung und
Readiness für Vernetzung und Datennutzung
Standards und Interoperabilität
Grenzüberschreitender Datenaustausch und Beteiligung der Connecting Europe Facility (CEF) Patientenermächtigung
IKT-basierte Gesundheitsanwendungen Datenbankvernetzung
Datenschutz und -verschlüsselung
Nutzung von primären und sekundären Daten zur Verbesserung der Versorgung Nutzung von Daten zur Verbesserung von
Management und Performanz des Gesundheitssystems Beitrag von Gesundheitsdaten zur
Gesundheitsüberwachung
Big-Data / Secondary-Use: Forschung und neue Möglichkeiten bei der Datenanalyse Digitalisierungsstrategien, Prioritäten und Pläne
Institutionelle Verankerung und Bereitschaft Stand des rechtlichen Rahmens und Einbettung Nationale Finanzierungsquellen für Digital Health
Policy-Aktivität
ABBILDUNG 3: Gesamtrahmen für die Konstruktion der Komposit-Indikatoren und der Sub-Indizes für den Digital-Health-Index
Quelle: Bertelsmann Stiftung
Komposit-Indikatoren Drei Sub-Indizes Digital-Health-Index
…
Etablierte technische und semantische Standards Elektronischer Austausch von Gesundheitsdaten
Technische Implementierung und Readiness für Vernetzung und Datennutzung
…
Digital Health wesentlicher Bestandteil der Gesundheitspolitik Kooperation der
Regierungsbehörden Staatliche Finanzierung
E-Rezepte in Apotheken, Praxen und Krankenhäusern Datenauswertung zur Gesundheitssystemverbesserung
…
Policy-Aktivität
Tatsächliche Nutzung und Austausch von Daten
Digital-Health-Index
drei Dimensionen des Digital-Health-Index kann wiederum als eigenständiger zusammen-gesetzter Index verstanden werden.
Der Digital-Health-Index wird wie in Abbildung 3 im Gesamtrahmen als Komposit-Indi- kator aus drei gleichwertigen Sub-Indizes konstruiert, die ihrerseits wiederum Komposit- Indikatoren sind. Die Indikatoren werden in der nachfolgenden Übersicht aufgeführt. Sie bestehen ihrerseits aus einer oder mehreren Survey-Fragen. Jede der Survey-Fragen wurde für die Auswertung auf einen Wertebereich von 0 bis 1 normiert, in der Regel derart, dass ein vollständiges, landesweites Vorhandensein mit einer 1 gewertet wurde, ein Nicht-Vor-handensein mit 0 sowie Abstufungen für Qualitäten und nicht eindeutig zuzuweisende Beobachtungen dazwischen mit Werten zwischen 0 und 1.
Die Punkte jeder Antwort im Fragenblock werden addiert und durch die Anzahl der Fragen pro Block dividiert. Anschließend wird der Wert mit 100 multipliziert. Dies ergibt die Pro-zentwerte für die jeweiligen Indikatoren.
Wo mehrere Fragen zu einem Indikator zusammengezogen wurden, kamen entsprechende Aggregationsregeln zur Anwendung. In der Regel konstituieren vier bis sechs Fragen einen Indikator. Die Punktwerte in einem Indikatoren-Block werden addiert und durch die Anzahl der Indikatoren pro Block dividiert. Dies ergibt den Punktwert für den jeweiligen Sub-Index.
Sowohl innerhalb der Sub-Indizes als auch die Sub-Indizes selbst werden zu gleichen Anteilen gewichtet. Somit hat jeder Indikator innerhalb desselben Sub-Index die gleiche Gewichtung. Der Mittelwert der drei Sub-Indizes bildet den Digital-Health-Index.
ABBILDUNG 4: Von den Fragen zum Digital-Health-Index
Quelle: Bertelsmann Stiftung
Die Abbildung 4 „Von den Fragen zum Digital-Health-Index“ veranschaulicht den Ent- stehungsprozess und den Aufbau des Digital-Health-Index und seiner Sub-Indizes.
Darstellungsformate des Digital-Health-Index in den Länderberichten
Die eigentlichen Ergebnisse des Benchmarkings in Form des Digital-Health-Index und der darauf basierenden Länder-Rankings werden zentral in tabellarischer und kartografischer Ansicht in Kapitel 4 vorgestellt. Zudem wurden für die einzelnen Länderberichte zusätzli-che Ableitungen in anderen grafiszusätzli-chen Darstellungsformaten aufbereitet. Die methodiszusätzli-chen Herangehensweisen an diese gesonderten Karten und Profile werden im Folgenden kurz skizziert und ausgeführt.
Digital-Health-Karten
Die von den 17 Ländern erzielten Punkte im Digital-Health-Index und den drei Sub-Indizes sind in vier möglichst gleichmäßige Gruppen eingeteilt worden. Die Gruppen fassen Länder mit einem ähnlich großen Digital-Health-Index zusammen. Die Grenzen der Gruppeninter- valle sind nicht a priori definiert, sondern ergeben sich aus den Beobachtungen und aus den Daten heraus. Intervallgrenzen sollten möglichst auch große „Sprünge“ im Ranking berücksichtigen. Beispiel: Fünf fiktive Länder haben im Digital-Health-Index 44, 45, 48, 62 und 64 Punkte erreicht. Land 3 und 4 liegen mit 14 Punkten weit auseinander, woraus sich ein Muster erkennen lässt. Es bietet sich die Einteilung in zwei Gruppen: Land 1 bis 3 sowie Land 4 und 5. Als maßgebliches Charakteristikum gilt: Der Punkteabstand der untersuchten Länder innerhalb einer Gruppe muss kleiner sein als der Abstand zwischen den Gruppen.
Die Daten wurden mithilfe eines Geografischen Informationssystems (GIS) und freier Geoda-ten der Geofabrik GmbH räumlich visualisiert und farblich bearbeitet. Die Skalen und die ent-sprechenden Einfärbungen sind den Legenden der Karten in Kapitel 4.1 und 4.2 zu entnehmen.
Länderbasierte Digitalisierungsprofile und Indexvergleiche
Jeder Länderbericht wird begleitet von einem individuellen Digitalisierungsprofil. Die Indikatoren des Digital-Health-Index werden als Digitalisierungsprofil tabellarisch in derselben Reihenfolge wie im Fragebogen aufgelistet. Aus diesen Profilen geht auch hervor, wie sich die thematischen Blöcke und Sub-Indizes weiter aufgliedern. Zusätzlich zu den in Tabelle 1 dargestellten Indikatoren wird in diesen Tabellen zu jedem Länderkapitel auch die erreichte Punktzahl zu den Indikatoren angegeben. Es werden 1 bis 5 Punkte pro Indi-kator vergeben, basierend auf den prozentual erreichten Gesamtpunkten. 5 Punkte glei- chen 100 Prozent der zu erreichenden Punkte des Indikators. 1 Punkt wird vergeben, wenn nur weniger als 25 Prozent erreicht wurden. Ein Land erhält 4 Punkte, wenn es zwischen 75 und 99 Prozent der maximal möglichen Punkte erreicht hat. 3 Punkte werden zwischen 50 und 74 Prozent vergeben und 2 Punkte bei 25 bis 49 Prozent der zu erreichenden Punkte.
Für die Auswertung liegen den Indikatoren wertende Statements zugrunde, die dann durch die Punkte 1 bis 5 bewertet werden. Bei einem Punkt trifft das Statement nicht zu, bei 5 trifft es vollständig zu.
Als Indexvergleich enthält darüber hinaus jedes Länderkapitel ein zu Deutschland in Bezug gesetztes Balkendiagramm des jeweiligen nationalen Digital-Health-Index sowie der Sub-Indizes „Policy-Aktivität“, „Digital Health Readiness“ und „Tatsächliche Datennutzung“.
Die erreichten Punkte werden in dieser Aufbereitung auf einer Skala von 0 bis 100 Prozent angegeben und spiegeln nur die relativen Werte wider, nicht die absolut erreichten Punkte.