Auswertung der Studien für ein systematisches Review

2.2.2.3.1 Qualitätsbewertung

2.2.2.3.1.1 Kontrolle von Bias

Da die „Qualität der eingeschlossenen Studien […] die Achillesferse sämtlicher Schlussfolgerungen eines systematischen Reviews [ist]“ (Khan et al. 2004), ist dieser Teilschritt laut Khan et al. (2004) bei der Erstellung eines systematischen Reviews besonders wichtig. Ziel soll es dabei sein, den Bias (Verzerrung durch Fehleinschätzung von Forschungsergebnissen) bei den Schlussfolgerungen des systematischen Reviews möglichst gering zu halten und dem Leser mögliche Bias der ausgewerteten Primärliteratur soweit wie möglich aufzuzeigen (O’Connor und Sargeant 2015). Laut Khan et al. (2004) gibt es verschiedene Biasformen, zu denen der Selektionsbias, der Durchführungsbias, der Messungsbias und der Verlustbias gehören. Teilweise werden die verschiedenen Biasformen von anderen Autoren auch etwas anders benannt und eingeteilt, so beschreiben O´Connor und Sargeant (2015) als potenzielle Fehlerquellen den Selektionsbias, den Informationsbias, Confounding und Interaktion („selection bias, information bias, confounding and effect modification“). Und auch Hammer et al. (2009) teilen etwas anders in Selektionsbias, Informationsbias, Messungsbias, Confounding und weitere Fehler ein.

Nachfolgend werden exemplarisch die von Khan et al. (2004) vorgeschlagenen Arten von potenziellen Fehlerquellen, die bei der Erstellung eines systematischen Reviews beachtet werden sollten, genauer erläutert.

Selektionsbias: Dieser Fehler entsteht in Primärstudien „bei der Auswahl der Studienteilnehmer“ (Khan et al. 2004), wenn keine randomisierte Zuteilung zu den Gruppen erfolgt und dadurch „systematische Unterschiede zwischen den Gruppen“ bestehen (Khan et al. 2004). Beim Erstellen eines systematischen Reviews betrifft der Selektionsbias laut O’Connor und Sargeant (2015) die Auswahl der Literatur für das systematische Review,

13

denn diese Auswahl stellt die Studienpopulation dar. Die Fehlerquelle liegt hierbei einerseits in der Entscheidung wo relevante Literatur gesucht wird und andererseits in der Entscheidung welche Studien eingeschlossen bzw. ausgeschlossen werden. Um diesen Fehler zu minimieren sollten nach O’Connor und Sargeant (2015) für die Erstellung eines systematisches Review zwei „tools“ angewendet werden: zum einen eine umfangreiche systematische Literatursuche, um so viele relevante Quellen wie möglich zu finden und zum anderen sollte vor der eigentlichen Suche definiert werden, was für Studien für das Review relevant sind, also der Umfang anhand von Ein- und Ausschlusskriterien festgelegt werden (O’Connor und Sargeant 2015).

Durchführungsbias/ Informationsbias: Der Durchführungsbias ist nach Dreier et al. (2010) eine Unterkategorie des Informationsbias und entsteht laut Khan et al. (2004) und Hammer et al. (2009) bei der Studiendurchführung „durch eine fehlerhafte oder ungenaue Erhebung individueller Faktoren“ (Hammer et al. 2009). Beim Erstellen eines systematischen Reviews sollte daher bei jeder Primärstudie kritisch überprüft werden, ob die Schlussfolgerungen der Autoren richtig sind und es sollten nur die expliziten Originaldaten ohne Generalisierungen wiedergegeben werden (O´Connor und Sargeant 2015). Um Informationsbias in einem systematischen Review zu minimieren empfehlen O´Connor und Sargeant (2015), dass mindestens zwei verschiedene Reviewer unabhängig voneinander die Primärdaten extrahieren sollten, um diese anschließend zu vergleichen und so etwaige Fehler zu finden.

Messungsbias/ Informationsbias: Auch der Messungsbias ist nach Dreier et al. (2010) eine Unterkategorie des Informationsbias. Dieser Fehler entsteht in Primärstudien „bei der Messung und Erfassung der Ergebnisse“ (Khan et al. 2004) und sollte durch die

„Verblindung von Teilnehmern und Personen, die die Endpunkte erheben“ (Khan et al. 2004) minimiert werden. Als Maßnahme um den Messungsbias in einem systematischen Review gering zu halten, sollten nach O’Connor und Sargeant (2015) nur die exakten Daten der Primärstudie wiedergegeben werden und nichts generalisiert werden.

Verlustbias: Verlustbias kann nach Khan et al. (2004) durch vorzeitiges Ausscheiden von Studienteilnehmern entstehen. Damit diese Fehlerquelle beim Erstellen eines systematischen Reviews eingeschätzt werden kann, sollte in den Primärstudien mindestens eine „vollständige Beschreibung (Anzahl und Gründe) der Studienabbrüche einschließlich Angaben zu Abbrechern“ (Khan et al. 2004) vorliegen.

Neben den oben beschriebenen Biasformen können laut Hammer et al. (2009) unter anderem noch zwei weitere Faktoren die Ergebnisse verzerren, die bei der Bewertung von

14

Publikationen beachtet werden sollten. Zum einen das „Confounding (Störgrößen)“ (Khan et al. 2004) und zum anderen die „Interaktion („effect modification“)“ (Hammer et al. 2009).

„Confounding liegt vor, wenn ein Faktor (Confounder), der nicht direkt Gegenstand der Untersuchung ist, sowohl mit der Intervention/ Exposition als auch mit der Zielgröße assoziiert ist und dadurch bei Aussagen über die Beziehung zwischen Intervention/

Exposition und Zielgröße „Verwirrung“ stiftet“ (Cochrane Collaboration 2016). Interaktion „tritt auf, wenn ein Faktor den Effekt der zu untersuchenden Intervention beeinflusst, z.B. kann das Alter eines Patienten sein Ansprechen auf die Therapie beeinflussen“ (Khan et al. 2004).

2.2.2.3.1.2 Qualitätscheckliste

Khan et al. (2004) fassen zusammen, dass „[z]ur Vermeidung von Subjektivität und Fehlern bei der Extraktion der Qualitätsdaten […] im Reviewprotokoll eindeutig beschrieben sein [sollte], wie die Qualität bewertet werden soll“. Allerdings git es „keinen Goldstandard für die Bewertung der Studienqualität, da die wahren Zusammenhänge von Exposition/Intervention und Outcome unbekannt sind“ (Dreier et al. 2010). Als ein wichtiges Instrument der Studienbewertung wird von mehreren Autoren (Downs und Black 1998; Khan et al. 2004;

O’Connor et al. 2008; Ressing et al. 2009; Dreier et al. 2010) die Verwendung von einer Qualitätscheckliste empfohlen. Diese sollte allgemeine (betrifft das Studiendesign) und spezifische Qualitätsmerkmale (betreffen Population, Intervention und Endpunkt) enthalten und kann, je nach Thema des systematischen Reviews, eventuell aus einer vorhandenen Publikation übernommen werden oder muss neu entwickelt werden (Khan et al. 2004). Trotz der Verwendung solcher Listen ist es aber oft auch gar „nicht möglich, eine differenzierte Qualitätseinstufung der Studien vorzunehmen“ (Khan et al. 2004).

2.2.2.3.2 Metaanalyse

Metaanalysen können als „statistisches Verfahren“ (Cochrane Collaboration 2016) ein systematisches Review ergänzen, indem „die Ergebnisse mehrerer Einzelstudien zu einer vergleichbaren Fragestellung zu einem Gesamtergebnis zusammengefasst (gepoolt) werden“ (Khan et al. 2004). Nach Ressing et al. (2009) werden Metaanalysen „durchgeführt, wenn die Ergebnisse von Einzelstudien unübersichtlich oder inkonsistent sind“ oder um

„Zusammenhänge zu untersuchen, für die die vorliegenden Einzelstudien zu einem Thema

15

aufgrund geringer Fallzahlen keine ausreichende statistische Power aufweisen“. Bei einer Metaanalyse von publizierten Daten sollte erst eine deskriptive Analyse der publizierten Daten per „Übersichtstabellen“ (Ressing et al. 2009) durchgeführt und dann nach Ressing et al. (2009) „die Effektschätzer der Einzelstudien (zum Beispiel Odds Ratio oder Relatives Risiko) entweder direkt aus den Publikationen extrahiert oder aus den Angaben […]

einheitlich neu berechnet“ werden. Daraus kann wenn möglich, wie Ressing et al. (2009) vorschlagen, unter Beachtung der „statistischen Heterogenität zwischen den Studien“ der gepoolte Effektschätzer durch das „fixed effect“-Modell oder das „random effect“-Modell berechnet werden und als „forest plots“ dargestellt werden. Den Autoren nach sollte anschließend die Stabilität des gemeinsamen Schätzers durch Sensitivitätsanalysen geprüft werden und ein möglicher Publikationsbias mittels „funnel plot“ visualisiert werden. Dieses Vorgehen stellt laut Dohoo et al. (2012) den Goldstandard in der Informations-zusammenfassung dar.

2.2.2.3.3 Evidenzbericht und Interpretation

Neben der eventuellen Durchführung einer Metaanalyse sollten im Rahmen eines systematischen Reviews im Anschluss an die Qualitätsbewertung der Publikationen „die Ergebnisse der eingeschlossenen Studien deskriptiv zusammengefasst werden“ (Khan et al.

2004). Dabei sollten Informationen zur Population, Intervention, Endpunkt, Effekt, Studiendesign, Evidenzklasse und Qualität jeder eingeschlossenen Studie zum Beispiel tabellarisch erfasst werden (Khan et al. 2004; O’Connor et al. 2008). Bei der Interpretation dieser Informationen sollte laut Khan et al. (2004) überprüft werden, ob zwischen den einzelnen Studien Unterschiede zwischen Population, Intervention/ Exposition oder Endpunkt bestehen („klinische Heterogenität“) oder ob sich die Studien hinsichtlich ihres Studiendesigns und ihrer Qualität unterscheiden („methodische Heterogenität“). Basierend auf diesen Informationen sollte abschließend zusammengefasst werden, wie glaubwürdig die vorhandene Evidenz ist und ob daraus Empfehlungen ausgesprochen oder Schlussfolgerungen gezogen werden können oder nicht (Khan et al. 2004).

17