Klinik 4 und Foker
4.4 Diskussion der Ergebnisse
4.4.5 Diskussion des methodischen Vorgehens (Studie 1)
Tabelle 4.4: Nutzungsfördernde und Nutzungshemmende Faktoren für IRS
An-spruch jedes wissenschaftlichen Verfahrens eine Nachvollziehbarkeit des For-schungs- und Erkenntnisprozesses impliziert, werfen die Kriterien der Geltungsbe-gründung Fragen nach der Validität und Reliabilität der qualitativen Daten auf.
Flick (1994) erwähnt in Zusammenhang mit der Validität qualitativer Daten die kommunikative Validierung. Reliabilitätsbestimmungen von Rekonstruktion und Interpretation erweisen sich als schwieriger. Bei der Datenerfassung und -auswertung wurde daher darauf geachtet, dem empirischen Material gerecht zu werden und es für andere nachvollziehbar auszuwerten und zu gestalten. Zur Re-liabilitätsbestimmung wird zudem das Verfahren der Intercoderreliabilität als in-haltsanalytisches Gütekriterium vorgeschlagen (Mayring, 1996, 2003). Angelehnt an die von Mayring (1996, 2003) vorgeschlagenen inhaltsanalytischen Gütekriterien soll das methodische Vorgehen bei der Evaluation der lokalen IRS diskutiert wer-den. Das Vorgehen ist an von Rosenstiel, Hockel & Molt (1994) und Künzle (2004) angelehnt.
Interraterreliabilität. Das Kriterium fordert eine Analyse des erhobenen Materials durch mehrere, zumindest zwei Personen und den Vergleich der Ergebnisse. In der vorliegenden Studie wurden entsprechend den Empfehlungen der Fachliteratur die durchgeführten Interviews von einer zweiten unabhängigen Person analysiert. Die Interrater-Übereinstimmung der Daten aus zwei Interviews mit Cohens Kappa lag bei 0.87, was nach Fleiss (1981, 2004) als exzellent anzusehen ist.10 Dem Kriterium konnte also für die durchgeführten Interviews entsprochen werden. Aus methodi-scher Sicht wäre es dabei sicher optimal gewesen, wenn es auch in den anderen Untersuchungskliniken möglich gewesen wäre, alle IRS-Komiteemitglieder und ei-nen Teil der Mitarbeitenden zu interviewen. Aus Gründen der begrenzten Ressour-cen war dies allerdings nur im vorliegenden eingeschränkten Rahmen möglich.
Verfahrensdokumentation. Zur intersubjektiven Nachvollziehbarkeit der Ergebnisse ist ein transparentes Vorgehen im Forschungsprozess nötig. Dieses Gütekriterium ist erfüllt, wenn sowohl die Datenerhebung und die Untersuchungsbedingungen als auch die Auswertung der Daten detailliert beschrieben wurden (s. Abschnitte 4.2–4.3).
10 Interrater-Übereinstimmung nach Cohens Kappa: Werte von .40 bis .60 = „fair“; .60. bis .75 = gut;
über .75 = exzellent (Fleiss, 1981).
Argumentative Interpretationsabsicherung. Für dieses Gütekriterium sind nach May-ring (2003) folgende drei Voraussetzungen zu erfüllen:
1. Für eine angemessene Interpretation der Daten ist ein Vorverständnis nötig.
2. Die Interpretation muss logisch konsistent sein.
3. Es sind Alternativdeutungen zu suchen und überprüfen, um die Interpretati-onen auf ihre Qualität hin einzuschätzen und begründen zu können.
Mit der Verwendung von Transkriptionsregeln und mit dem Auswertungsvorge-hen unter Abstützung durch Literatur, Expertenmeinungen und kommunikative Validierung der Resultate wurde diesem Gütekriterium Rechnung getragen.
Regelgeleitetheit. Diesem Gütekriterium sollte mit dem der Studie 1 zugrunde geleg-ten Konzept der umfassenden Qualitätsevaluation des Evaluationsnetzes entspro-chen werden. Dieses Konzept basiert, wie unter Abschnitt 4.2.3 beschrieben, auf ei-nem Mehrebenen-Modell unter Anwendung verschiedener qualitativer Methoden (Kirkpatrick, 1994; Schenkel et al., 2000). Damit wurde sichergestellt, dass die Eva-luation systematisch und nach vorher definierten Verfahrensregeln (s. a. Anhang Kapitel 4) erfolgt.
Kommunikative Validierung. Im Rahmen von in den Untersuchungskliniken durch-geführten Teamsitzungen (Klinik 1), Fortbildungen (Klinik 2, Klinik 3) und einer Gruppendiskussion (FOKER) erfolgte eine kommunikative Validierung der Daten.
Hierbei wurde die Zustimmung der Befragten zur Rekonstruktion der Daten und zur Interpretation eingeholt. Zudem erfolgte eine Validierung im Rahmen persönli-cher Rückfragen an die einzelnen IRS-Akteure und vereinzelte Mitarbeitende des Gesamtklinikums.
Triangulation. Unter dem Kriterium Triangulation
„wird die Kombination verschiedener Methoden, Forscher, Untersuchungsgrup-pen, lokaler und zeitlicher Settings sowie unterschiedlicher Perspektiven in der Auseinandersetzung mit einem Phänomen verstanden“ (Flick, 1994, S. 9).
Die Triangulation war in vorliegender Studie ein zentrales Element. Bereits zu Be-ginn wurde das Forschungsvorgehen so geplant, dass möglichst alle verfügbaren Datenquellen und lokalen IRS aus unterschiedlichen Perspektiven betrachtet wer-den können. Die IRS wurwer-den darüber hinaus über je einen Zeitraum von mindes-tens einem halben Jahr begleitet. Neben Einzelinterviews kamen strukturierte Gruppendiskussionen, Dokumentenanalysen und teilnehmende Beobachtungen zum Einsatz. Diese wurden vor allem als Vervollständigung und zur ökologischen Validierung der Erkenntnisse aus den Interviews betrachtet. Die vorliegende Studie 1 beschränkte sich bei der Untersuchung der zentralen Forschungsfragen vor allem
auf ein qualitatives Vorgehen. Im weiteren Vorgehen der Doktorarbeit wurden die Erkenntnisse u. a. auch durch ein quantitatives Vorgehen (Studie 3, Fragebogen) ergänzt (s. Forschungsmodell und Design Abschnitt 4.2.3).
Ökologische Validierung. Dieses Kriterium erfordert nach Lamnek (1995) die Erhe-bung der Daten und die Prüfung des Untersuchungsgegenstandes dem natürlichen Umfeld der Person(en) entsprechend, um verzerrte Daten ausschließen. In vorlie-gendem Fall waren dies die Tätigkeitsbereiche der befragten Ärzte, Pflegenden und der Physiotherapeutin. Die Auswahl der Befragungsorte sowie der Orte, an denen die weiteren Erhebungen durchgeführt wurden, waren den Interviewten selbst ü-berlassen. Alle Interviewten wählten einen ruhigeren Ort in ihrem Arbeitsbereich.
Die teilnehmenden Beobachtungen fanden in allen drei Kliniken, wie von den Be-fragten angegeben, unter „normalen Alltagsbedingungen“ statt. Für die FOKER-Treffen wurden hingegen gesondert Termine und Räumlichkeiten in einem leicht für alle Beteiligten erreichbaren, aber geschützten Rahmen organisiert, um den im Klinikalltag eher häufig vorkommenden Störungen durch Unterbrechungen bei den Befragten vorzubeugen. Dieses Kriterium ist zu weiten Teilen als erfüllt zu be-trachten; es ermöglichte, Eigenschaften, Anwendung und Einsatz der IRS auch mit Rücksicht auf die äußeren Rahmenbedingungen einzuschätzen. Eine formative E-valuation während der Systemnutzung erfolgte hingegen nicht im Rahmen von Studie 1.
Bei der Darstellung der Ergebnisse ist zu berücksichtigen, dass diese auf inter-pretative Verfahren zurückzuführen sind (vgl. Bortz & Döring, 2003). Die Heraus-forderungen, die sich bei der sinnvollen Auswertung der Gesprächsaufzeichnun-gen ergaben – wie beispielsweise widersprüchliche Antworten der potenziellen IRS-Anwender auf die Frage nach mit der IRS-Anwendung verbundenen neuen Erkenntnissen, der tatsächlichen Kenntnis der Erfassungsformulare und Bearbei-tungswege und der Einschätzung des Nutzens solcher IRS –, erschwerten die Er-gebnisformulierung und sind kritisch zu berücksichtigen und an den widersprüch-lichen Stellen möglicherweise tiefer zu hinterfragen.
Die Ergebnisse spiegeln möglicherweise Tendenzen wider, welche einen Bei-trag leisten können, um für den untersuchten Klinikkontext Anforderungen an die Gestaltung lokaler IRS abzuleiten und ein besseres Verständnis für einen erfolgrei-chen Umgang mit der Einführung und Nutzung von IRS, aber vor allem auch mit Fehlern und kritischen Ereignissen in der Praxis zu bewirken.
Allerdings können, bedingt durch die beschränkte Stichprobe innerhalb eines Großkrankenhauses, keine allgemeingültigen Aussagen getroffen werden. Ferner sind die Daten über einen Zeitraum von 18 Monaten erhoben worden. Die
Ergeb-nisse der Interviews sind insofern kritisch zu betrachten, als diese über einen Zeit-raum von mehreren Wochen und nicht an ein und demselben Tag stattfanden.
Die Stichprobengröße in Klinik 1 umfasste beinahe das gesamte Personal, wobei ein Jahr nach Erhebung ein Viertel des Personals bereits nicht mehr in diesem Bereich tätig war und sich möglicherweise aktuell ein völlig anderes Bild ergäbe. Einschät-zungen zum Nutzen und zur Nutzung lokaler IRS und zu den Anforderungen an eine klinikumsweite Gestaltung entsprechender Systeme wurden, um die Aussa-gekraft zu erhöhen und die Ergebnisse möglichst breit abzusichern, jeweils einer größeren Gruppe von Mitarbeitenden der jeweiligen Untersuchungsklinik zur Re-kommentierung vorgelegt sowie dem interdisziplinären und interprofessionellen FOKER und schließlich auch einem klinikumsweiten, mit Qualitäts- und Risiko-managementfragen betrauten Gremium.