10.3 Zusammenfassung
In Tabelle 26 werden die Ergebnisse der vorangegangenen Abschnitte nochmals zusam-mengefasst. Nur die Wikis der Unternehmen C und H werden schließlich in die Gruppe 1 der bereits erfolgreich etablierten Wikis eingeordnet. Die Wikis der restlichen Unter-nehmen werden entsprechend der Gruppe 2 der noch nicht erfolgreich etablierten Wikis
zugewiesen. Zwar gibt es auch hier große individuelle Unterschiede – für die quantitativen Analysen im nächsten Teil der Arbeit sind diese aber nicht von Belang.
Tabelle 26: Übersicht über Ergebnisse der Wiki-Interviews
↓ ↓
Bereich / Unternehmen B C E F G H I J L RB
Allgemeines # G# # # # G# #
Einführung G# # G# G# G# G# G#
Abgrenzung # G# G# G# G# # G#
Inhalt G# G# G# G#
Reichweite G# G# G# # G# G#
Strukturierung G# G# G# G# G# Integration G# G# G# G# G# G# Kollaboration # G# # G# G# G# G# G# Qualität G# G# G# G# G# G# G# G# Akzeptanz / Motivation # G# G# Zielerreichung G# G# G# G# G# # G#
11 Hauptstudie II: Quantitative Evaluation unternehmensinterner
Wiki-Kollaboration
Nachdem in Kapitel 10 die Unternehmenswikis anhand der Interviews in zwei Gruppen aufgeteilt wurden, beginnt nun der hypothesenprüfende Teil der Hauptstudie.
Auch dieses Kapitel beginnt im Abschnitt 11.1 mit Ausführungen zur Methodik: Es wird auf verschiedene Hypothesenarten, Signifikanztests und die damit verbundenen Pro-bleme eingegangen. Im folgenden Abschnitt 11.2 werden Wiki-Kennzahlen beschrieben, welche den einzelnen Dimensionen im DeLone-McLean-Modell zugeordnet sind. Im Abschnitt 11.3 wird diskutiert, wie diese Kennzahlen für die vorhandenen Wikis technisch ermittelt werden können und es wird kurz auf das entwickelte Wiki-Analyse-Programm
„Wiki-Reporter“ eingegangen.
Schließlich werden im Abschnitt 11.4 für jede Dimension des in Abschnitt 7.7.4 beschriebenen DeLone-Mc-Lean-Modells Hypothesen aufgestellt, für die jeweilige Dimension die entsprechenden Kennzahlen berechnet und für die beiden Gruppen jeweils aggregiert. Im letzten Schritt wird mit dem Mann-Whitney-U-Test geprüft, ob sich die beiden Wiki-Gruppen signifikant voneinander unterscheiden.
Benutzer
Leser Autor
Artikel Wiki
Unternehmen
Ebene 1 Ebene 2 Ebene 3
Engine Ebene 4
Ebenen quantitativer Analysen von Unternehmenswikis
Abbildung 15: Ebenen quantitativer Analysen von Unternehmenswikis
11.1 Methodik
Wikis im Allgemeinen und Unternehmenswikis im Speziellen können auf verschiede-nen Aggregationsebeverschiede-nen quantitativ analysiert werden. In Abbildung 15 werden vier Abstufungen vorgeschlagen. Auf Ebene 1 befinden sich die Leser und Autoren. Deren Aktivitäten können einzeln oder wechselseitig betrachtet werden – oder zusammengefasst als Benutzer auf Ebene 2. Auf dieser Ebene befindet sich auch der Artikel1. Auch Benutzer und Artikel können wiederum separat oder in ihren Wechselwirkungen Gegenstand von Analysen sein. Die Zusammenfassung von Benutzern und Artikeln bündelt sich in einem Wiki, das – auf Ebene 3 – ganzheitlich analysiert werden kann. Schließlich können – auf der höchsten Aggregationsebene 4 – auch mehrere Wikis vergleichend analysiert werden, entweder bezogen auf verschiedene Unternehmen oder bezogen auf verschiedene Wiki-Engines. Auch hier kann es wieder zu Wechselwirkungen zwischen Unternehmen und Engine kommen.
In den folgenden drei Unterkapiteln sollen kurz die theoretischen Grundlagen zu hypothesenprüfenden Untersuchungen erläutert werden. Dabei wird auf Ausführungen von Jürgen Bortz und Nicola Döring zurückgegriffen [18, S. 490ff.].
11.1.1 Hypothesenarten
Gegenstand hypothesenprüfender Untersuchungen2sind „Annahmen über Zusammenhän-ge, Unterschiede und Veränderungen ausgewählter Merkmale bestimmter Populationen“
[18, S. 490]. Schwerpunkt der Forschung ist die Identifikation von Ursache-Wirkungs-Beziehungen oder das Testen kausaler Zusammenhänge. Dabei muss man sich immer bewusst sein, dass sich Kausalität empirisch nie zweifelsfrei nachweisen lässt. Um Hypothesen bestätigen oder widerlegen zu können, müssen sie präzise formuliert sein und die Daten kontrolliert erhoben sowie korrekt inferenzstatistisch ausgewertet werden3. Annahmen über den Forschungsgegenstand werden als Forschungshypothesen be-zeichnet. Sie sind allgemein formuliert und sollen nicht nur für die Stichprobe, sondern für die entsprechende Grundgesamtheit gelten. Klassifiziert werden Forschungshypothesen in Zusammenhangshypothesen4,Unterschiedshypothesen5undVeränderungshypothesen6. In der vorliegenden Untersuchung geht es um den Unterschied zweier Wiki-Populationen –
1Artikel steht hier und in Abbildung 15 stellvertretend für Schreibzugriffe, die auch in Kommentaren, Kategorie-Zuweisungen oder Uploads von Anhängen bestehen können.
2Neben diesem Untersuchungstyp wird noch zwischen explorativen und Stichprobenuntersuchungen unter-schieden.
3Mit der letzten Anforderung ist die angemessene Wahl und Durchführung von Signifikanztests gemeint.
4Bei einer Zusammenhangshypothese wird ein Zusammenhang zwischen zwei oder mehr Merkmalen ver-mutet.
5Unterschiedshypothesen nehmen bei zwei oder mehr Populationen Unterschiede hinsichtlich einer oder mehrerer abhängiger Variablen an.
6Die Veränderungshypothese gibt eine Vermutung über die Ausprägung einer Variable im Zeitverlauf an.
Gruppe 1 und 2 – über insgesamt 74Indikatoren7.
Der Forschungshypothese nachgelagert ist die operationale Hypothese. Mittels theo-retischer Konstrukte und unter Angabe der entsprechenden Operationalisierung werden Zusammenhänge, Unterschiede und Veränderungen in den untersuchten Populationen formuliert.
Mit Signifikanztests werden formal zwei einander ausschließende statistische Hypo-thesen überprüft: die Nullhypothese (H0) und die Alternativhypothese (H1). Werden – wie in der vorliegenden Untersuchung – Mittelwertunterschiede zweier Populationen überprüft, lautet die
H0: Zwischen den Mittelwertparametern µ1 und µ2 der Populationen, denen die Stichproben entnommen wurden, besteht kein Unterschied (H0:µ1=µ2).
Entsprechend lautet die Alternativhypothese
H1: Zwischen den Mittelwertparametern µ1 und µ2 der Populationen, denen die Stichproben entnommen wurden, besteht ein Unterschied (H1:µ1 6=µ2).
Bei statistischen Hypothesen wird zwischen ungerichteten8 und gerichteten9 unterschie-den. In dieser Untersuchung würde z.B. eine Hypothese lauten: Die interne Verlinkung in erfolgreich etablierten Wikis (Gruppe 1) ist höher als in noch nicht erfolgreich etablierten Wikis (Gruppe 2).
Alle bisher vorgestellten Hypothesen sind unspezifisch, weil die Größe des Unterschieds bzw. der Veränderung oder die Höhe des Zusammenhangs offen bleiben. Beispezifischen Hypothesen wird z.B. ein Unterschied um einen bestimmten Betrag erwartet.
11.1.2 Signifikanztests
Ziel analytischer Statistik ist vorwiegend, herauszufinden, ob zwischen den Unter-suchungsvariablen ein Zusammenhang zufällig zustande gekommen ist oder „ob ein theoretisch angenommener Zusammenhang sich auch statistisch bestätigen lässt, also systematisch und signifikant ist“ [185, S. 123]. Um Untersuchungsergebnisse hinsichtlich ihrer Gültigkeit bewerten zu können, ist die Signifikanz ein wichtiges Kriterium. Sie erlaubt Aussagen über die Bedeutsamkeit der Befunde. Signifikanz bezeichnet „die Wahrscheinlichkeit, mit der angenommen werden kann, dass die Unterschiede zwischen den Stichproben nicht zufällig, sondern Kennzeichen der Untersuchungseinheit sind“
[185, S. 123].
7Ein Indikator ist eine direkt beobachtbare (manifeste) Variable [185, S. 38].
8Hierbei wird keine Richtung des Zusammenhangs, des Unterschieds oder der Veränderung angenommen.
9Dabei wird das Vorzeichen der Korrelation oder die Richtung des Unterschieds bzw. der Veränderung angegeben.
In der Prüfstatistik sind Verfahren verfügbar, um Prüfgrößen zu berechnen. Diese Größen folgen bestimmten Verteilungen (z.B. t-, oder F-Verteilung) und ermöglichen die Berechnung der Irrtumswahrscheinlichkeit (p) [185, S. 123]. Als Signifikanzniveau wird die Irrtumswahrscheinlichkeit bezeichnet, welche „ein Untersuchungsergebnis ma-ximal aufweisen darf, damit die Alternativhypothese als bestätigt gelten kann“ [17, S. 796].
Per Konvention werden für das Signifikanzniveau die Werte 5% bzw. 1% festgelegt [18, S. 494]. Das Signifikanzniveau ist vor der Untersuchung zu bestimmen [18, S. 498].
In der vorliegenden Untersuchung soll die Grenze bei 5% liegen. Lediglich in „besonderen Fällen“ ist eine 1%- bzw. 0,1%-Grenze üblich: „wenn von einem Ergebnis praktische Konsequenzen abhängen und ein Irrtum gravierende Folgen hätte“ [18, S. 26].
Es gibt für unterschiedliche Skalentypen und Stichprobencharakteristika eine Viel-zahl von Signifikanztests, welche hier nicht im Detail besprochen werden können. U.a.
Raithel stellt hierzu einen Überblick vor [185, S. 125]. Für normalverteilte, intervallska-lierte Stichproben kommt bei einer oder zwei unabhängigen Stichproben etwa der t-Test in Betracht. Bei mehreren unabhängigen Stichproben kann die einfache Varianzanalyse, bei zwei unabhängigen Stichproben der Paardifferenztest und bei mehreren abhängigen Stichproben die mehrfache Varianzanalyse zum Einsatz kommen.
In der vorliegenden Untersuchung sollte durchgängig derselbe Test verwendet wer-den. Da nicht für alle Stichproben Normalverteilung unterstellt werden konnte und die Gruppe 1 mit n=14 einen recht geringen Umfang aufweist, sollte ein – voraussetzungsär-merer – nichtparametrischer Test herangezogen werden. Da es sich um zwei unabhängige Stichproben handelt, fiel die Wahl auf den Mann-Whitney-U-Test. Dieser Test wird von Bortz ausführlich erläutert [17, S. 150f.] und soll im Folgenden nur kurz skizziert werden.
Für beide Gruppen wird eine gemeinsame aufsteigende Rangreihe aller Messwerte gebildet. Falls eine der Gruppen niedrigere Werte für z.B. die interne Verlinkung aufweist, müsste der Durchschnitt der RangplätzeR und die Rangsumme in dieser Gruppe höher sein als in der anderen Gruppe. Die Rangsummen T1 und T2in beiden Gruppen sind durch folgende Beziehung gekennzeichnet:
T1+ T2= n·(n·+1)2 (n = n1+ n2)
Als nächstes wird eine Prüfgröße U bzw. U’ berechnet. Dazu wird ausgezählt, wie häufig ein Rangplatz in der einen Gruppe größer ist als die Rangplätze in der anderen Gruppe. U erhält man, indem man diese Werte aus n1 · n2 Vergleichen addiert. Die Rangplatzunter-scheidungen werden als U’ bezeichnet. Zwischen U und U’ besteht folgende Beziehung:
U = n1·n2- U’
Das mühsame Auszählen zur Bestimmung des U-Wertes kann man durch folgende Bezie-hung vermeiden:
U = n1·n2+ n1·(n21+1) - T1
Sofern sich die beiden Populationen, aus denen die Stichproben – also Gruppe 1 und 2 – entnommen wurden, nicht unterscheiden, wird unter H0 ein U-Wert von
µU = n12·n2 erwartet.
Alle möglichen Werte von U sind um µU symmetrisch verteilt. Ihre Streuung - der Standardfehler des U-Wertes lautet:
σU =
qn1·n2·(n1+n2+1) 12
Da die Verteilung der U-Werte um µU bei der vorhandenen Stichprobengröße (n1 oder n2 > 10) näherungsweise als normal angenommen werden kann, ist der folgende z-Wert hinsichtlich seiner statistischen Bedeutsamkeit überprüfbar:
z = U−µσ U
U
Dieser z-Wert kann über Tabellen oder Statistikprogramme unter Berücksichtigung der festgelegten Irrtumswahrscheinlichkeit geprüft werden. In der vorliegenden Untersuchung wurde für die Berechnung der Mann-Whitney-U-Tests das Statistikprogramm SPSS ge-nutzt10.
11.1.3 Probleme des Signifikanztests
Der Hauptkritikpunkt am klassischen Signifikanztest wird an der Abhängigkeit der Ergebnisse von der Stichprobengröße n festgemacht. Je größer n ist, desto eher werden Zu-sammenhänge als signifikant ausgewiesen [185, S. 124]. In der vorliegenden Untersuchung lagen die Stichprobenumfänge allerdings nur bei n1 = 14 bzw. n2 = 96. Eine Alternative zum traditionellen Signifikanztest – die Überprüfung von Minimum-Effekt-Hypothesen – beschreiben Bortz und Döring [18, S. 635ff.].
Das mit dem Hauptkritikpunkt verknüpfte „Signifikanz-Relevanz-Problem“ skizziert Raithel. Danach hat die Beliebtheit des Signifikanztests in der empirischen Sozialfor-schung dazu geführt, dass die praktische Relevanz der getesteten Hypothesen aus den Augen verloren wurde. Im Sinne eines deduktiven Forschungsvorgehens sei es daher von
„kardinaler Wichtigkeit, immer erst die Relevanz eines Sachverhalts festzustellen und theoretisch zu fundieren“ [185, S. 125].
10Vgl.: http://www.spss.com, letzter Abruf: 15. November 2010. Im Anhang findet sich ab S. 387 ein bei-spielhafter SPSS-Auszug zur Untersuchung in dieser Arbeit.