Einfluss von Argumentationsvisualisierung auf die wahrgenommene Transparenz
von Entwicklungsprozessen am Beispiel des Standardisierungsprojektes
„Entwicklung eines Kerndatensatzes Forschung“
vorgelegt von Mathias Riechert
M. Sc.
von der Fakultät VII - Wirtschaft und Management der Technischen Universität Berlin
zur Erlangung des akademischen Grades Doktor der Wirtschaftswissenschaften
- Dr. rer. oec. - genehmigte Dissertation
Prof. Dr. Hans Hirth
Prof. Dr. Rüdiger Zarnekow Promotionsausschuss:
Vorsitzender: Gutachter:
Gutachter: Prof Dr. Dr. h. c. Dr. h. c. Jörg Becker
Tag der wissenschaftlichen Aussprache: 27.09.2017 Berlin 2019
i
Abstract
Entwicklungsprozesse mit einer hohen Zahl beteiligter Stakeholder weisen Charakteristika eines „Wicked Problems“ auf, da unterschiedliche Interessen in Einklang gebracht werden müssen. Es gibt jedoch keine empirisch prüfbar wahre oder falsche Lösung, sondern nur akzeptierte und weniger akzeptierte. In empirischen Studien konnte gezeigt werden, dass der Einsatz verschiedener Arten von Prozesstransparenz in einer Erhöhung der Akzeptanz zwischen 15 und 30% resultiert. In der Dissertation wird untersucht, inwieweit auf Basis von Experteninterviews neu entwickelte Argumentationsvisualisierungen (Darstellungen aller im Prozess diskutierten Fragen, Lösungsalternativen und zugehörigen Argumente) die Wahrnehmung dieser Transparenz eines realen komplexen Entwicklungsprozesses beeinflussen.
Das Dissertationsprojekt erbringt sechs Beiträge: (1) Die Arbeit beginnt mit der Charakterisierung des ausgewählten Anwendungsfalls als Wicked Problem. Der daraus resultierende Einsatz von existierenden Werkzeugen für Argumentationsvisualisierung zeigt, dass diese bei komplexen Entwicklungsprojekten mit hohem Argumentationsumfang von Anwendern gegenüber Protokollen als zu unübersichtlich eingestuft werden. (2) Um die Komplexität der zur Darstellung der Argumentation notwendigen Bestandteile der Visualisierung zu reduzieren, wird die Issue-Based-Information-System-Notation (IBIS) adaptiert und als neu entwickelte, effizientere Modellierungssprache RIDAL spezifiziert. (3) Auf Basis von Experteninterviews, Workshops und Protokollen wird die komplette Argumentation des realen Entwicklungsprozesses in IBIS modelliert. (4) Um den Prozess der iterativ-parallelisierten Entwicklung und Dokumentation von Ergebnissen, dahinterliegendem Argumentationswissen und zugehörigen Prozessabläufen zu strukturieren und für weitere Entwicklungsprojekte nachnutzbar zu machen, werden diese Bestandteile und deren Integration als Development Transparency Framework systematisiert und bereitgestellt. (5) Die Entwicklung des Informationssystems zur Argumentationsvisualisierung erfolgt mittels expertengestütztem Prototypings und bildet die Argumentation des Entwicklungsprozesses ab. In der Literatur der Informationsvisualisierung diskutierte Funktionalitäten werden auf die Argumentationsvisualisierung übertragen und anschließend qualitativ und quantitativ
empirisch evaluiert. (6) Im letzten Schritt werden die entwickelten
Informationsvisualisierungen hinsichtlich ihres Einflusses auf die wahrgenommene Transparenz des Entwicklungsprozesses evaluiert.
Schlüsselbegriffe
Informationsvisualisierung, Argumentationsvisualisierung, Wicked Problem, Prototyping, Transparenz
ii
Inhaltsverzeichnis
Abstract ... i Inhaltsverzeichnis ... ii Danksagung ... 1 Abbildungsverzeichnis ... 21 Motivation und Untersuchungsgegenstand ... 3
2 Stand der Forschung ... 5
2.1 Entwicklung als „Wicked Problem“ ... 5
2.2 Visualisierung von Argumentation ... 7
2.3 Transparenz der Darstellung von Entwicklungsprozessen ... 9
3 Forschungsdesign ... 10
4 Übersicht über die fünf Dissertationsartikel ... 12
4.1 Charakterisierung des Cases als Wicked Problem ... 12
4.2 RIDAL – Sprache zur Modellierung von Argumentationen für Standardisierungsprozesse ... 16
4.3 Development Transparency Framework ... 17
4.4 Entwicklung von Informationssystemen zur Argumentationsvisualisierung . 20 4.5 Einfluss von Argumentationsvisualisierung auf die wahrgenommene Transparenz des Standardisierungsprozesses ... 23
5 Zusammenfassung ... 29
5.1 Ergebnisse ... 29
5.2 Anwendungen und Weiterentwicklungspotenziale ... 30
6 Literatur ... 32
7 Anhang ... 35
7.1 Übersicht über die entwickelten Darstellungsformen ... 35
1
Danksagung
Bei der Erarbeitung dieser Dissertation wurde ich auf vielfältige Weise von Mentoren, Kollegen, meiner Familie und meinen Freunden unterstützt. Im Besonderen möchte ich meinem Doktorvater Herr Prof. Zarnekow danken, der mir von der initialen Themenschärfung über Fachgespräche bis hin zu methodischen Diskussionen stets unterstützend und bereichernd zur Seite stand. Herrn Prof. Becker möchte ich für die Methodologiediskussionen und die Einblicke in die Fachhintergründe im ausgewählten Anwendungsfall danken.
Weiterhin hervorheben möchte ich meinen Dank an meine Kollegen am Deutschen Zentrum für Hochschul- und Wissenschaftsforschung. Herr Prof. Hornbostel ermöglichte den Zugang zum Themenfeld und unterstützte mich durch wertvolle Diskussionen über die Ausrichtung und Beiträge der Arbeit. Mein Kollege Daniel Sirtes ist für mich methodisch-theoretischer Mentor und geschätzter Freund. Danken möchte ich auch Sophie Biesenbender für Diskussionen über Forschungsdesign und statistische Auswertungen sowie Unterstützung bei Stipendien- und Drittmittelbewerbung. Der Abschluss der Arbeit wäre ohne die Unterstützung und Rückendeckung meiner Frau Cindy nicht möglich gewesen. Auch meinen Eltern möchte ich für die langfristige Unterstützung im Studium, vor allem aber für die Erziehung hin zum kritischen Denken und zur Wertschätzung von Bildung danken. Schließlich möchte ich auch der Studienstiftung des deutschen Volkes danken, die die Promotion finanziell gefördert und den belebenden Austausch mit Promovierenden zu fachlichen und gesellschaftlichen Themen ermöglicht hat.
2
Abbildungsverzeichnis
Abbildung 1: Überblick Artefakte und Artikel ... 10
Abbildung 2: Das Development Transparency Framework (DTF) ... 19
Abbildung 3: Einflusseffekte auf die wahrgenommene Transparenz ... 27
3
1 Motivation und Untersuchungsgegenstand
Ein geteiltes Verständnis der zugrundeliegenden Argumentation (inklusive der diskutierten Fragen, möglichen Antwortalternativen und zugehörigen Argumente) ist zentral für eine Vielzahl von Entwicklungsprozessen (bspw. in den Bereichen Requirements Engineering, Change Management, eGovernment, eParticipation, Public Policy). Experimentelle Studien (De Fine Licht, Naurin, Esaiasson, & Gilljam, 2014) fanden eine Erhöhung der Akzeptanz eines Entwicklungsergebnisses um 8-15% (je nach Darstellungsart) durch die visuelle Darstellung der dahinterliegenden Argumentation. Da die visuelle Informationsaufnahme der dominanteste Sinn des Menschen ist (Wade & Swanston, 2001), ist zu erwarten, dass Informationsvisualisierung den Zugang zur Argumentation und damit zur Erreichung von mehr Akzeptanz deutlich vereinfachen kann. In der wissenschaftlichen und praktischen Literatur zur Informationsvisualisierung wurden eine Vielzahl von Best Practices zur Darstellung von Informationen entwickelt. Ziel dieser Dissertation ist es, diese für die Darstellung von Argumentationen zu übertragen. An den nach diesen Grundsätzen neu entwickelten Argumentationsvisualisierungen wird untersucht, inwieweit die wahrgenommene Transparenz eines Entwicklungsprozesses durch die Darstellung der Argumentation beeinflusst wird. Um einen Anwendungsfall mit einer umfangreichen realen Betroffenenzielgruppe sowie einer Vielzahl von Stakeholdern untersuchen zu können, wird als Untersuchungsfall das Projekt „Spezifikation eines Kerndatensatz Forschung“ - ein Standardisierungsprojekt mit über 50 beteiligten Stakeholdergruppen und Konsequenzen für das gesamte deutsche Wissenschaftssystem - aufgegriffen. Über den dazugehörigen Untersuchungsfall wird im Folgenden ein Überblick gegeben.
Die Umsetzung des New Public Managements seit den 1980er Jahren resultiert in einer anhaltenden Stagnierung der öffentlichen Grundmittelfinanzierung von Hochschulen in Deutschland bei zeitgleicher Steigerung der Drittmittelförderung. Die Mittelverteilung soll dabei wettbewerbsartig auf besonders leistungsstarke Wissenschaftlerinnen und Wissenschaftler sowie Hochschulen verteilt werden (vgl. Enders, 2012; Winterhager, 2012, S. 261). Das erfordert eine hohe Transparenz der Bewertung von Forschungsleistungen gegenüber den Drittmittelgebern und der Öffentlichkeit. Um Forschungsleistungen in der geforderten Transparenz nachzuweisen, sehen sich Hochschulen und außeruniversitäre Forschungseinrichtungen einem gestiegenen Berichtsbedarf gegenüber (vgl. Beyer & Trice, 1982; Jansen, Wald, Franke, Schmoch, & Schubert, 2007; Jörg, 2012). Im föderalen deutschen Wissenschaftssystem sind dadurch eine Vielzahl von Informationssystemen mit unterschiedlichen Inhalten, Datendefinitionen, rechtlichen Regelungen, technischen Lösungen, Austauschformaten und Nutzerkreisen entstanden (Riechert & Hornbostel, 2013). Die daraus resultierenden unterschiedlichen Informationssammlungen ohne externen Zugriff verhindern institutionenübergreifende Vergleiche oder Bewertungen, da sich keine einheitliche Definition für die Bezugsobjekte durchgesetzt hat.
Der Wissenschaftsrat hat mit den Empfehlungen zur Entwicklung eines „Kerndatensatzes Forschung“ (Wissenschaftsrat, 2013) der Diskussion um die Entwicklung eines einheitlichen Standards einen neuen Impuls gegeben. Innerhalb dieses Entwicklungsprozesses „Spezifikation eines Kerndatensatz Forschung“ (im Folgenden auch Kerndatensatz Forschung) werden verbindliche Definitionen für Forschungsinformationen erarbeitet, die der Wissenschaftsrat nach Abschluss der Spezifikation als Richtlinie empfahl.
Da die Empfehlungen durch veränderte Definition von Bezugsobjekten tiefgreifende organisatorische, finanzielle und technische Veränderungen hinsichtlich der Berichtssysteme aller beteiligten Akteure erfordern, die Ergebnisse jedoch keinen Gesetzesstatus erhalten werden, ist die Erreichung von Akzeptanz der Richtlinien durch Transparenzmaßnahmen für die Durchsetzung der Spezifikation maßgeblich für den Erfolg der Standardisierung.
4 Ein weiteres Kennzeichen des Definitionsprozesses neben den weitreichenden Konsequenzen sind ungleiche Informationsinteressen, die zu einer hohen Entscheidungskomplexität bezüglich der Definitionsfindung führen. Weiterhin verändern sich die Rahmenbedingungen der im Kerndatensatz-Projekt erarbeiteten Definitionen durch die Veränderung des Wissenschaftssystems fortlaufend. Schließlich gibt es keine eindeutig richtige Definition. Der Entscheidungsprozess wird vom Ende des Diskussionsprozesses determiniert. Der Definitionsprozess scheint somit die Charakteristika eines Wicked Problems (Rittel & Webber, 1973) aufzuweisen, bei denen die Akzeptanz des Ergebnisses bei den Stakeholdern einen höheren Stellenwert einnimmt als das Finden einer Ideallösung (vgl. Conklin & Weil, 1997)1. Die detaillierte Charakterisierung des Falles als Wicked Problem und daraus resultierende Konsequenzen werden im ersten Artikel diskutiert.
Dem Design Science Forschungsparadigma folgend wird im Anschluss ingenieurswissenschaftliche Artefaktentwicklung mit qualitativer und quantitativer empirischer Evaluation verbunden, um Darstellungsformen von Argumentationen weiterzuentwickeln und ihre Wirkung auf die wahrgenommene Transparenz des Standardisierungsprozesses im Anwendungsfall zu analysieren.
5
2 Stand der Forschung
Ausgangspunkt ist die Frage nach dem Problemcharakter des gewählten Untersuchungsgegenstandes. Die Diskussion um Wicked Problems greift bei Planungs- und Entwicklungsprozessen mit multiplen Akteuren auftretende Charakteristika auf und beschreibt Lösungsansätze für diese Art von Problemen. Da die Unterstützung des Argumentationsprozesses durch visuelle Werkzeuge einen in der Literatur häufig diskutierten Lösungsansatz darstellt, werden zunächst bestehende Ansätze zur Visualisierung von Argumentationen untersucht, um eine Umsetzung als Informationssystem zu ermöglichen. Schließlich erfolgt die Diskussion bestehender Literatur zur quantitativen Messung von Transparenz.
2.1 Entwicklung als „Wicked Problem“
Die auf Rittel und Webber (1973) gründende Typologisierung von Entwicklungsproblemen benennt „Tame Problems“ und „Ill-structured Problems“ als zwei Enden eines Kontinuums. „Tame Problems“ weisen nach Rittel und Webber (1) eine komplette und eindeutige Problemspezifikation, (2) klare Kriterien und Prozeduren zur Evaluation der Lösungserreichung, (3) das Vorhandensein des zur Problemlösung notwendigen Wissens mit mindestens einem Problemraum, der Initial- , Intermediär- und Lösungszustand umfasst und (4) ein Set an Operatoren, dass einen Zustandsübergang des Problems ermöglicht, auf (Rittel & Webber, 1973; Van Bruggen, Boshuizen, & Kirschner, 2003, S. 27). Beispiele dafür sind mathematisch-naturwissenschaftliche Probleme wie die Türme von Hanoi, Theorembeweise oder die Analyse der Struktur eines chemischen Elementes.
Rittel argumentiert, dass Planungs- und Entwicklungsprozesse im Kontrast dazu ihrer Natur gemäß „Ill-structured“ sind. Solche Probleme weisen nach Rittel und Webber (1) eine mehrdeutige und unvollständige Problemspezifikation, (2) mangelnde Klarheit hinsichtlich der Evaluation der Lösungserreichung, wodurch es keine Determinierungsregel gibt, (3) eine Vielzahl potenziell relevanter Wissensdomänen ohne Integrationsregel sowie (4) keine abschließend zählbare Menge von zutreffenden Operatoren und keinen linearen Lösungspfad von Initial- zu Lösungszustand auf (Rittel & Webber, 1973; Van Bruggen u. a., 2003, S. 27). Beispiele für „ill-structured problems“ sind Kompositions-, Planungs- und Entwicklungstätigkeiten sowie Managementaufgaben. „Ill-structured problems“ folgen keinem linearen Lösungsprozess, sondern werden durch iterative Zyklen, bestehend aus der Lösung von Teilproblemen, Anpassung und Präzisierung der Problemdefinition und erneuter Evaluation, gelöst (Van Bruggen u. a., 2003, S. 27 f.).
Rittel und Webbers Typologisierung adressiert und kritisiert Simons „The Sciences of the Artificial“ (Simon, 1969), in dem eine Designwissenschaft als „analytische, teilweise formalisierbare, teilweise empirische, lehrbare Doktrin über den Designprozess“ (Simon, 1969, S. 58) vorgeschlagen wird. Rittel und Webber argumentieren, dass Designprozesse im Hinblick auf Zieldefinition, Einschränkungen, Regeln und Zustandsraumdarstellung nur unzureichend mit dieser rationalisierten Auffassung erklärbar sind (Coyne, 2005). Simon erweiterte daraufhin seine Definition von Problemen in der Design Science, indem er vorschlug, manche Probleme als „ill-structured“ anzuerkennen (Simon, 1977). Diese veränderte Orientierung von Simon und Rittel bildet die Grundlage für das Forschungsparadigma der Design Science (Hevner, Salvatore, Park, & Ram, 2004). Nach Simons Definition weisen „ill-structured problems“ eine mangelnde Akzeptanz der Lösungen und Lösungswege und einen hohen Grad an Unsicherheit über Lösungen von Problemen auf. Die Zustände des Problems und die gewünschten Zielzustände sind undefiniert und die Lösungsmethode ist unbekannt (Simon, 1977).
6 „Wicked Problems“ wurden von Rittel selbst synonym mit „Ill-structured Problems“ verwendet. In der jüngeren Diskussion ist jedoch eine Differenzierung der Begriffe zu beobachten (K. Becker, 2007; Munneke, Andriessen, Kanselaar, & Kirschner, 2007; Van Bruggen u. a., 2003). So werden “Wicked Problems” nach Van Bruggen als Untermenge von “ill-structured problems” klassifiziert, die zwei zusätzliche Charakteristika aufweisen: An Wicked Problems ist eine Vielzahl an Akteuren mit multiplen Interessen beteiligt. Weiterhin existieren keine wahren oder falschen, sondern nur „passende“ oder „weniger passende“ Lösungen (Munneke u. a., 2007, S. 1075; Van Bruggen u. a., 2003, S. 28).
Für das Dissertationsprojekt wird die Kategorisierung eines Wicked Problems nach Rittels ursprünglichen Kriterien ergänzt um die von Rittel unter „sozialem Kontext“ zwar diskutierten, aber nicht explizit als Charakteristikum aufgeführten multiplen Stakeholder zugrunde gelegt:
• das Problem hat keine finalen Lösungskriterien, da der Problemlösungsprozess identisch mit dem Verstehen seines Kontextes ist;
• aufgrund der Vielzahl an Akteuren sind Lösungen nicht wahr oder falsch, sondern gut oder schlecht bzw. zufriedenstellend oder nicht genügend;
• der finite Test der Lösung ist nicht möglich, da die Lösung Konsequenzen nach sich ziehen wird, deren Erfassung aufgrund des zeitlichen Horizontes und der Komplexität nicht möglich ist;
• jede Lösung ist ein einmaliger Versuch, da die Konsequenzen jedes Versuches irreversibel den Kontext einer zukünftigen Lösung beeinflussen;
• es kann keine abschließende Liste der potentiellen Lösungen generiert werden, da in sozialen Systemen permanent neue Lösungen möglich werden;
• jedes „Wicked Problem“ ist aufgrund seiner sozialen Konstruktion notwendigerweise einzigartig;
• jedes „Wicked Problem“ kann als Symptom eines weiteren Problems betrachtet werden; • die Wahl der Erklärung, die das Problem repräsentiert, determiniert die Natur der
Lösung, da das Problem einzigartig ist und keine Experimente möglich sind;
• im Gegensatz zur Lösung wissenschaftlicher Forschungsfragen ist aufgrund der weitreichenden Konsequenzen keine Korrektur möglich. Die Beteiligten am Lösungsprozess haben demzufolge kein Recht auf eine falsche Lösung;
• Eine Vielzahl an Stakeholdern mit multiplen Interessen und Perspektiven sind an der Lösungsfindung beteiligt.
Wicked Problems wurden in einer Vielzahl von Disziplinen beschrieben. Häufig zitierte Beispiele sind Softwareentwicklung (Yeh, 1991), Entscheidungswissenschaft (Munneke u. a., 2007), Supply Chain Management (Peterson, 2009), Fischerei (Jentoft & Chuenpagdee, 2009), Ökologie (Chapin III u. a., 2008; Goldsmith, 1969), strategisches Management (Camillus, 2008; Conklin & Weil, 1997), Klimatologie (Levin, Cashore, Bernstein, & Auld, 2007) und Children Studies (Devaney & Spratt, 2009).
Zur Erarbeitung einer Lösung erfordern „Wicked Problems“ eine andere Herangehensweise als „Tame Problems“ (Kettl, 2002; O’Toole Jr, 1997; Roberts, 1997; Weber & Khademian, 2008). Eine Vielzahl an Lösungsansätzen wurde für “Wicked Problems” aus den Bereichen Verwaltung, Politikwissenschaften, öffentliche Teilnahme, Organisationswissenschaft und Netzwerkforschung diskutiert. Für eine Übersicht sei auf die Veröffentlichung von Weber und Khademian verwiesen (Weber & Khademian, 2008, S. 337).
7 Die Kritik an der „Undefinierbarkeit“ von Ill-structured Problems verlagerte die wissenschaftliche Diskussion auf die definierenden Communities und ihre Kommunikation (Broadbent, 1973). Ziel ist dabei die Explikation verdeckter Prozesse professioneller Bewertung und Argumentation durch Methoden und Diagramme (Coyne, 2005). Bei Problemen, die als „wicked“ klassifizierbar sind, kommt der Explikation des Problemdefinitionsprozesses aufgrund der Vielzahl der beteiligten Stakeholder und der damit verbundenen multiplen Wissensdomänen und Problemrepräsentationen eine zentrale Rolle zu (Van Bruggen u. a., 2003, S. 28).
Während für Weber und Khademian die Verteilung und Integration von Wissen über das Problemlösungsnetzwerk die Grundlage einer Lösungsfindung bilden, betonen Conklin und Weil die Bedeutung der Akzeptanz für die Lösung eines Wicked Problems (vgl. Conklin & Weil, 1997, S. 5), da die Lösung eines Wicked Problems ein sozialer Prozess ist, der ein gemeinsames Verständnis des Problems und eine gemeinsame Akzeptanz der Ergebnisse fordert (Conklin, 2006, S. 17). Coyne argumentiert, dass dieser Community-Konsens die Antwort auf die Problemdefinition mit rationalen Kriterien bildet (Coyne, 2005). Die Lösung von Wicked Problems mittels sozio-technischer Systeme durch kollektive Intelligenz zu unterstützen, wurde von Introne, Laubacher, Olson und Malone (2013) am Beispiel der Klimaerwärmung vorgeschlagen.
Für die Nutzung von Argumentationswerkzeugen zur Lösung von Wicked Problems liegt eine Vielzahl von Studien vor. So wurde eine Reihe von positiven Effekten empirisch untersucht:
• bessere Erlernbarkeit der Inhalte (Carr, 2003; Easterday, Aleven, & Scheines, 2007); • stärkere Diskussion über die Verknüpfungen zwischen den Diskussionsinhalten (Lund,
Molinari, Séjourné, & Baker, 2007; Suthers & Hundhausen, 2003);
• stärkerer Bezug auf vorherige Diskussionsinhalte (Suthers & Hundhausen, 2003); • Reduktion der Zeit, bis eine Einigung erreicht wird (Iandoli, Quinto, De Liddo, &
Buckingham Shum, 2014; Nussbaum, Winsor, Aqui, & Poliquin, 2007; Suthers, 2008); • Erhöhung der Anzahl der diskutierten Alternativen (Suthers, 2008);
• erhöhter Konsens über das Ergebnis (Iandoli u. a., 2014; Lund u. a., 2007);
• erhöhte Flexibilität hinsichtlich der Meinungsänderung bei neuen Argumenten (Nussbaum u. a., 2007);
• reduzierte Anzahl der doppelt diskutierten Elemente (Lund u. a., 2007); • erhöhte Tiefe einer Diskussion (Munneke u. a., 2007).
Der Einfluss verschiedener Arten der Darstellung der Argumentation auf die Wahrnehmung des Diskussionsergebnisses wurde bislang nicht untersucht.
2.2 Visualisierung von Argumentation
Visuelle Informationsaufnahme ist der dominanteste Sinn des Menschen (Wade & Swanston, 2001) und spielt deshalb eine Schlüsselrolle bei der Kommunikation von Informationen. Techniken beim Einsatz von Informationsvisualisierung verbessern die Effizienz menschlicher Informationsaufnahme durch folgende Ansätze (vgl. Card, Mackinlay, & Shneiderman, 1999, S. 16):
• Erhöhung der Speicher- und Verarbeitungsressourcen für den Benutzer; • Reduzierung des Suchaufwands;
• Nutzung visueller Repräsentationen zum Auffinden von Mustern; • Ermöglichung wahrgenommener Folgeoperationen;
8 • Nutzung von Mechanismen zur Erhöhung der Wahrnehmungsaufmerksamkeit;
• Speicherung der Information in einem modifizierbaren Medium.
Regeln zur Entwicklung von Informationsvisualisierungen finden sich bei Shneiderman (vgl. 1996, S. 4 f.) im „Visualisierungs-Mantra“: zuerst Übersicht ermöglichen; Zoom und Filterung; Details nur auf Nachfrage. Mazza (vgl. 2009, S. 13 ff.) listet die Kriterien graphische Exzellenz (umfasst Klarheit, Genauigkeit, Präsentationseffizienz und Komplexitätsreduktion), graphische Integrität (das Bild darf nicht ablenken oder falsche Interpretationen zulassen), maximales Daten-Tinte-Verhältnis (jedes „gedruckte“ Pixel muss Informationen enthalten) und Ästhetik (Datenkomplexität gleicht der Einfachheit des Designs) auf. Weitere Gestaltungsprinzipien ergeben sich aus den Gestaltgesetzen der menschlichen Informationsaufnahme (Prägnanz, Nähe, Ähnlichkeit, Geschlossenheit, Bewegung, Vertrautheit (vgl. Card u. a., 1999, S. 26), aus denen eine unterschiedlich schnelle präattentive Wahrnehmung für bestimmte Skalenniveaus resultiert (siehe Mazza, 2009, S. 40). Bei interaktiven Systemen sind zusätzlich Kriterien aus dem Bereich der Usability-Forschung zu berücksichtigen (u.a. Sichtbarkeit, Kontrolle, Konsistenz, Fehlerbehandlung) (siehe Nielsen, 2005).
Die Diskussion um Argumentationsvisualisierung wird derzeit weitgehend losgelöst von den Erkenntnissen der Informationsvisualisierung geführt:
Argumentationsvisualisierung unterstützt die explizite Dokumentation des Problemdefinitionsprozesses. Alexander (2003) unterscheidet zwischen drei Phasen der Visualisierung von Argumentationen:
Concept Mapping wurde von Novak (1972, 1990) als Werkzeug zur Konstruktion, Reflektion und Diskussion von Vorstellungen eingeführt. In den darauffolgenden Jahren konnte gezeigt werden, dass die Darstellung als Concept Map eine explizitere Argumentation fördert und einen Konsens vereinfacht. Die Unified Modeling Language (UML) wurde als Grundlage zur Beschreibung von derartigen Argumentationsabläufen entwickelt. Anschließend folgte eine von der Computer-Mediated-Communication (CMC) dominierte Phase. Die Unterstützung durch asynchrone textuelle Kommunikation ermöglicht eine ortsübergreifende Kommunikation und Kollaboration. In der dritten Phase folgte eine erneute stärkere Einbindung von Argumenten in Computer Supported Argument Visualization (CSAV). Es wurden Konzepte wie Issue Based Information Systems (IBIS) (Kunz & Rittel, 1970) und grafische Erweiterungen (graphical Issue Based Information Systems – gIBIS (Conklin & Begeman, 1988)) entwickelt, um politische Argumentationen visuell darstellen zu können, die Entscheidungsfindung zu vereinfachen und die Transparenz zu erhöhen (Kunz & Rittel, 1970). In der graphischen Notation werden Themen (Topics), Probleme (Issues), Meinungen (Positionen) und Argumente in einem Netzgraph in Beziehung gesetzt. Ziel ist dabei neben der Wissensdokumentation, die Wiederauffindbarkeit sowie eine Rekonstruktion für Unbeteiligte zu ermöglichen. Zur Erstellung und Bearbeitung von IBIS Notationen existieren die Werkzeuge Compendium, DRed und designVUE.
Zusätzlich wurden zur Lösung von „Wicked Problems“ zwei visuelle Lösungsansätze vorgestellt: Erstens die Nutzung von Werkzeugen zur visuellen Analyse und kollaborativen Argumentation („Mess Mapping“) und zweitens die Darstellung der Lösungsansätze in Form von expertengestützter Szenarioentwicklung („Resolution Mapping“) (Horn & Weber, 2007). Mess Mapping verwendet Text, Bilder und Formen, um in einem strukturierten gruppenbasierten Prozess Informationen zu sammeln, zu teilen, zu organisieren und zu evaluieren. Die Gesamtdarstellung wird dabei in Problembereiche aufgeteilt, die verschiedene Perspektiven des Gesamtproblems adressieren und untereinander durch Kausalpfeile
9 verbunden werden. Der Standardprozess zur Erstellung einer „Mess Map“ umfasst dabei die Schritte „Initiale Analyse und Interviews“, „Identifikation von verschränkten Problemen“, „Identifikation von Kausalfaktoren“ und „Analyse der bedeutendsten strukturellen Faktoren“ (Horn & Weber, 2007, S. 12).
Die Erkenntnisse aus der Informationsvisualisierung wurden zwar zum Teil in bestehenden Werkzeugen berücksichtigt, insbesondere hinsichtlich der interaktiven Darstellung zur Umsetzung des Grundsatzes „Detailinformationen auf Nachfrage“ und der Zoomfunktionalitäten bleiben bekannte Argumentationsvisualisierungen aber deutlich hinter dem technisch möglichen Stand zurück. Die Übertragung dieser Best Practices auf die Argumentationsvisualisierung wird daher in Artikel 4 (Zusammenfassung in Kapitel 4.3) im Detail erläutert.
2.3 Transparenz der Darstellung von Entwicklungsprozessen
Die Bereitstellung der Argumentation eines Entwicklungsprozesses (inkl. Entscheidungen, diskutierter Alternativen und zugehöriger Argumente) erhöht durch gestiegene Transparenz die Akzeptanz des Entwicklungsergebnisses (De Fine Licht, 2014; De Fine Licht u. a., 2014). Dies trifft insbesondere in umfangreichen Entwicklungsprozessen mit einer hohen Anzahl beteiligter Stakeholder zu, da hier ein Mangel an Einbeziehung und Akzeptanz einer der Hauptgründe für den Misserfolg von Projekten ist (Al Neimat, 2005; Cerpa & Verner, 2009; Conklin, 2006; Rittel & Webber, 1973).
In einer Studie von Dapko (2012) wurden 48 verschiedene Definitionen von Transparenz aus den Feldern Marketing, Rechnungswesen und Finanzen, Informationstechnologie, Politikwissenschaft, Management und Kommunikation aufgeführt. Durch das seitdem stark gestiegene Interesse der wissenschaftlichen Gemeinschaft ist die Zahl der verfügbaren Definitionen weiter gestiegen. Im Folgenden wird Transparenz entsprechend Rawlins Definition verwendet:
“Transparency is the deliberate attempt to make available all legally releasable information – whether positive or negative in nature – in a manner that is accurate, timely, balanced, and unequivocal for the purpose of enhancing the reasoning ability of publics and holding organizations accountable for their actions, policies and practices” (Rawlins, 2008, S. 75).
Zwei quantitative Messmodelle wurden bislang zur Messung der Wahrnehmung von Transparenz vorgeschlagen und evaluiert. Rawlins entwickelte 2009 das erste Messinstrument für organisationale Transparenz. In diesem Modell wurden drei Merkmale für Ansehen durch Transparenz (Integrität, Respekt gegenüber Anderen und Offenheit) und vier Aufwandsarten für Transparenz (Beteiligung, umfangreiche Information, Verantwortlichkeit, Verschwiegenheit) als Dimensionen von Transparenz konzeptualisiert und getestet. Dapko (2012) entwickelte ebenfalls ein quantitatives Messmodell für die Transparenz einer Organisation, hier werden jedoch nur die Faktoren Aufwand und Reziprozität verwendet. Im Folgenden wird daher das Messmodell von Rawlins adaptiert, da in unserem Anwendungsfall der Fokus auf der Messung der Transparenz eines Prozesses liegt und dafür Rawlins Modell mit einer höheren Zahl besser passender Faktoren geeigneter scheint. Die Adaption des Messinstruments wird im Detail in Artikel 5 (Zusammenfassung in Kapitel 0) diskutiert.
10
3 Forschungsdesign
Das Dissertationsprojekt folgt dem Paradigma der Design Science, welche Problemdomänenwissen und Lösungswissen durch die systematische Entwicklung und Anwendung eines Artefaktes generiert (Hevner, March, Park, & Ram, 2004; Yetim, 2009). In Abgrenzung zur rein erklärungsorientierten Forschung ist die Lösung eines relevanten Problems Hauptbestandteil der Forschung (J. Becker & Pfeiffer, 2006, S. 2; Wilde & Hess, 2007, S. 281). Weiterhin ermöglicht die Anwendung der Design Science-Prinzipien die rationale Begründung von Ausprägungen und Eigenschaften von Artefakten (Pries-Heje & Baskerville, 2006). Im Rahmen des Projektes werden dabei drei Artefakte als Forschungsgegenstand entwickelt (siehe Abbildung 1):
(1) Eine adaptierte Sprache zur effizienten Modellierung der Argumentation im Prozess (siehe Artikel 3);
(2) Das Argumentationsmodell der Spezifikation des Kerndatensatzes;
(3) Die sechs verschiedenen interaktiven Darstellungsformen der Argumentation inklusive deren Tutorial (siehe Artikel 4).
Begleitend zur Entwicklung der Artefakte werden diese qualitativ und quantitativ evaluiert. Die Forschungsfragen, das Forschungsdesign und die Limitationen werden in den jeweiligen Zusammenfassungen erläutert und sind in den einzelnen Artikeln im Detail diskutiert.
11
Annahmen
Im Dissertationsprojekt wird von einer grundsätzlichen Bereitschaft zum Problemverstehen seitens am Prozess unbeteiligter, aber vom Ergebnis betroffener Individuen ausgegangen. Weiterhin werden grundsätzliche Verarbeitungsmechanismen von visuellen Informationen bei Betrachtern vorausgesetzt. Hinsichtlich der Visualisierung wird angenommen, dass sich eine „wahrgenommene Transparenz“ über Befragungen erheben lässt. Schließlich wird auf Basis bestehender Erkenntnisse in der wissenschaftlichen Literatur vorausgesetzt, dass der Prozess des Problemverstehens die Lösung eines Wicked Problems vereinfacht (Shum, 2003, S. 13).
12
4 Übersicht über die fünf Dissertationsartikel
Die Artikel sind in Kapitel 7.2 angehängt.
4.1 Charakterisierung des Cases als Wicked Problem
Forschungsziel
Im ersten Artikel wird untersucht, in welchem Grad die Charakteristika eines Wicked Problems im ausgewählten Untersuchungsfall zutreffen. Im zweiten Teil des Artikels wird die Anwendung der Darstellung der Argumentation mittels eines existierenden Werkzeuges (Compendium LD) evaluiert. Ziel ist die Prüfung des von Conklin (2003) und Awati (2011) gefundenen Ergebnisses - Argumentationsvisualisierungen in IBIS seien gegenüber einem klassischen Protokoll intuitiv und ohne Einführung verständlich - in unserem Fall zu bestätigen ist.
Forschungsfragen
Aus dem Forschungsziel und dem Stand der Forschung leiten sich folgende Forschungsfragen ab:
[FF1] Weist der Untersuchungsgegenstand „Spezifikation eines Kerndatensatz Forschung“ die Charakteristika eines Wicked Problems auf?
[FF2.1] Unterstützt der Einsatz von Argumentationsvisualisierung während des Workshops eine strukturiertere Diskussion?
[FF2.2] Erhöht der Einsatz von Argumentationsvisualisierung die Konzentration auf eine Ergebnisfindung?
[FF2.3] Ist Argumentationsvisualisierung besser für die Kommunikation der Ergebnisse geeignet als ein Protokoll?
[FF2.4] Ist Argumentationsvisualisierung in IBIS intuitiv verständlich?
Forschungsdesign
Die Analyse der Charakteristika erfolgt als qualitative Studie mittels einer formalen Inhaltsanalyse nach Friedrichs (1990) und Mayring (2010). Als Untersuchungsmaterial wurden dreizehn Experteninterviews durchgeführt, in denen die Interviewten über Potenziale und Herausforderungen des Standardisierungsprozesses sprachen. Trotz der qualitativen Natur der Analyse und der damit verbundenen begrenzten Stichprobe waren Vertreter aller zentralen Akteure des deutschen Wissenschaftssystems (Wissenschaftsrat, das Statistisches Bundesamt, Bundesministerium für Bildung und Forschung, Vertreter der Landesministerien für Forschung, Vertreter aus dem Wissenschaftsmanagement, Professoren und Universitätsleitungen) als Experten beteiligt. Unter den Experten waren Positionen für und gegen die Standardisierung vertreten. In den Interviews wurde nicht explizit nach den Charakteristika gefragt, um Interviewverzerrungen zu vermeiden (insb. Desirability Bias). Die formale Inhaltsanalyse erfolgte in zwei Phasen:
Zuerst wurden Aussagen im transkribierten Interviewmaterial den verschiedenen Charakteristika eines Wicked Problems zugeordnet. Diese wurden dann nach Mayrings induktiver Kategorienbildung kategorisiert.
Die qualitative Evaluation des Einsatzes von bestehenden Werkzeugen erfolgte als Action Research. Dabei wird organisationelle Veränderung eingesetzt, um sie gleichzeitig zu untersuchen (Babüroglu & Ravn, 1992). Zur Anwendung kommt Davisons überarbeitete Form von Susmans und Evereds Canonical Action Research (Davison, Martinsons, & Ou, 2012; Susman & Evered, 1978). Die Evaluation findet in sechs Workshops mit jeweils acht Experten (unabhängig von den oben gewählten Experten) statt. Im ersten der Workshops wurde keine
13 Argumentationsvisualisierung eingesetzt, ab dem zweiten Workshop wurden die Projektgruppentreffen durch das Werkzeug Compendium LD unterstützt. Die Evaluation wurde dann durch erfragtes Feedback zu wahrgenommenen Vor- und Nachteilen der Visualisierung durchgeführt und um Beobachtungen der Interaktion der Experten mit der Visualisierung ergänzt.
Ergebnisse
Die Forschungsfragen konnten wie folgt beantwortet werden:
[FF1] Weist der Untersuchungsgegenstand „Kerndatensatz Forschung“ die Charakteristika eines Wicked Problems auf?
Die Ergebnisse der formalen Inhaltsanalyse stützen die Interpretation als Wicked Problem. Für acht von Rittels elf Charakteristika eines Wicked Problems wurden unterstützende Statements gefunden. Für zwei Charakteristika wurden keine betreffenden Statements gefunden. Für diese zwei Charakteristika wurden jedoch ebenso keine Aussagen gefunden, die gegen die Erfüllung des Charakteristikums sprechen. Über die Erfüllung dieser Charakteristika ist im gewählten Forschungsdesign zur Vermeidung direkter Nachfragen mit einhergehendem Desirability Bias keine Aussage möglich. Hinsichtlich eines Charakteristikums (jedes Wicked Problem ist einzigartig) fand sich gemischte Evidenz. Zwar gibt es Aussagen der Experten, dass dieses Standardisierungsprojekt durchaus Anknüpfungspunkte zu vorangegangenen Standardisierungsprozessen hat, jedoch wurde gleichzeitig von anderen Experten vorgebracht, dass durch die Konstellation im deutschen Bildungsförderalismus und dem derzeitigen Stand der technischen Entwicklung der Systeme durchaus eine Einzigartigkeit vorliegt. Da für den Großteil der Charakteristika unterstützende Statements gefunden wurden und die zwei aus dem Forschungsdesign heraus nicht beantwortbaren Charakteristika auch nicht mit widersprechender Evidenz unterlegt sind, ist der Anwendungsfall insgesamt als Wicked Problem einstufbar. Damit sollte laut Stand der wissenschaftlichen Literatur Argumentationsvisualisierung stärker als bei anderen Problemarten zur Lösungsverbesserung beitragen.
[FF2.1] Unterstützt der Einsatz von Argumentationsvisualisierung während des Workshops eine strukturiertere Diskussion?
Sowohl durch Expertenfeedback als auch durch Beobachtung konnten wir Evidenz für diese Forschungsfrage finden. Die Experten bezogen sich nach anfänglicher Skepsis sehr schnell auf die im Argumentationsmodell dokumentierten Inhalte und stärker auf bereits diskutierte Bereiche. Einschränkend ist hier jedoch anzuführen, dass bei steigender Argumentationsmenge der Zugriff auf das Gesamtmodell während des eigentlichen Workshops herausfordernder wurde. So fanden die Workshops 2 und 3 mit einer mittleren Modellkomplexität statt (324 definierte Elemente im Argumentationsnetz), während die Workshops 4 bis 6 mit einer hohen Modellkomplexität stattfanden (735 Knoten). Hierzu wurde rückgemeldet, dass dies in den letzten Workshops für die Teilnehmer nicht mehr übersichtlich genug war. Diese Skalierungsproblematik wurde in bestehenden empirischen Arbeiten nicht ausreichend thematisiert. Für die Strukturierung der Argumentation wurde von den Experten dennoch angegeben, dass sie diese Argumentationsvisualisierung in Compendium gegenüber einem klassischen Protokoll bevorzugen.
[FF2.2] Erhöht der Einsatz von Argumentationsvisualisierung die Konzentration auf eine Ergebnisfindung?
14 Bezüglich dieser Forschungsfrage decken sich die Expertenrückmeldungen klar mit bestehenden Studienergebnissen der wissenschaftlichen Literatur. Sowohl die Expertenrückmeldungen als auch unsere Beobachtungen der Workshops geben Anhaltspunkte für die positive Beantwortung der Forschungsfrage. So konnte das Tempo der Einigung beschleunigt und im Gegensatz zu dem Workshop ohne Argumentationsvisualisierung auch stärker zielorientiert diskutiert werden.
[FF2.3] Ist Argumentationsvisualisierung besser für die Kommunikation der Ergebnisse geeignet als ein Protokoll?
Diese Forschungsfrage ist wie auch Forschungsfrage H2.1 stark davon abhängig, wie groß der Umfang der zu kommunizierenden Argumentationskomplexität ist. Bei kleinen Argumentationsnetzen im Bereich bis zu 300 Knoten wurde die Netzdarstellung als vorteilhafter als ein Protokoll rückgemeldet. Bei einer hohen Netzkomplexität wurde dagegen kritisch angemerkt, dass diese Netze insbesondere gegenüber Außenstehenden nicht verständlich seien. Im Zuge externer Konsultationsprozesse mit bislang unbeteiligten Stakeholdern zum Stand der Diskussion wurden die Argumentationsnetze parallel zu einer Tabellendarstellung der Ergebnisse und einer Protokolldarstellung mit Kurzeinführungen verwendet. Die externen Rückmeldungen machten sehr deutlich, dass die Tabellendarstellung gegenüber der Netzdarstellung bei hoher Argumentationskomplexität klar zu bevorzugen ist. Einzelne Einschätzungen zur Eignung der Argumentationsvisualisierung in IBIS als Kommunikationswerkzeug nach außen gingen bis hin zur Einschätzung der völligen Unbrauchbarkeit, wenn die Darstellung nicht benutzerfreundlicher gestaltet wird. Zusammenfassend ist festzuhalten, dass Argumentationsmodelle, die in IBIS / Compendium zwar gut modellierbar sind, ab einer hohen Modellkomplexität von in unserem Fall 700 Knoten jedoch zu unübersichtlich sind, um für bislang unbeteiligte Nutzer verständlich zu sein. Daher ist die Forschungsfrage in diesem Fall klar abzulehnen. Die in Artikel 3 entwickelte Sprache sucht dieses Problem zu adressieren, indem die Modellkomplexität reduziert wird. Die in Artikel 4 entwickelten Prototypen reduzieren die Informationskomplexität der modellierten Argumentationsnetze für externe Betrachter. Die in Artikel 5 durchgeführte quantitative Evaluation prüft, inwieweit sich die verschiedenen entwickelten Darstellungsformen bei hoher Argumentationskomplexität hinsichtlich der erreichten Transparenz unterscheiden.
[FF2.4] Ist Argumentationsvisualisierung in IBIS intuitiv verständlich?
Auch für diese aus bestehender Literatur abgeleiteten Forschungsfrage hängen unsere Ergebnisse stark von der Argumentationskomplexität ab. Ein wenig komplexes Argumentationsmodell wurde von unseren Experten als intuitiv eingeschätzt. Die Rückmeldung externer Unbeteiligter zur Intuitivität der Argumentationsnetze mit mittlerer bis hoher Argumentationskomplexität war trotz Bereitstellung eines Einführungsdokumentes überwiegend negativ. Soll Argumentationsvisualisierung für externe Stakeholder oder die breite Öffentlichkeit bereitgestellt werden, sind die in bestehenden Werkzeugen generierten Argumentationsnetze nicht sinnvoll einsetzbar. Dies wird noch dadurch verstärkt, dass bei öffentlichem Publikum die Bereitschaft zum Lesen einer Einführung deutlich niedriger liegt als bei den in unserem Anwendungsfall durchgeführten Konsultationen, wo eine finanzielle oder ideelle Gegenleistung für die Beschäftigung mit dem Thema erfolgte. Diese Ergebnisse motivieren die Vereinfachung der Modellierung in Artikel 2 und die Übertragung von Best Practices der Informationsvisualisierung in Artikel 4.
15
Limitationen
Auf Basis der Expertenaussagen konnten nicht alle Charakteristika eines Wicked Problems bestätigt werden. Hinsichtlich der zwei nicht gefundenen Charakteristika ist jedoch anzumerken, dass dies nicht notwendigerweise auf ein Nichtzutreffen hindeutet. Da diese Charakteristika auf einem höheren Abstraktionslevel als die anderen Charakteristika liegen, waren sie weniger präsent bei den Experten im Vergleich zu anderen Charakteristika. Da es sich hier um die erstmalige explorative empirische Evaluation eines Wicked Problems handelte, konnten wir nicht auf standardisierte Fragebögen zurückgreifen.
Der Untersuchungsfall ist hinsichtlich des Einsatzes von Argumentationsvisualisierung als Extremfall einzuordnen, da mit dem Föderalismus im Forschungsbereich, aber gleichzeitiger Beeinflussung durch Bundes- und Europapolitik sowie den verteilten Zuständigkeiten bei einer Vielzahl von Akteuren eine besonders hohe Komplexität vorliegt. Als Extremfall bietet der Untersuchungsfall die Möglichkeit, generalisierbare Forschungsfragen und theoretische Modelle finden zu können, die auch bei weniger extremen Fällen überprüfbar sind.
Diese erste Studie bezieht primär die Erkenntnisse der am Prozess direkt beteiligten Stakeholder ein. Bereits in externen Konsultationsprozessen wurde eine stark veränderte Wahrnehmung der Argumentationsvisualisierung deutlich. Für gänzlich Unbeteiligte oder die breite Öffentlichkeit ist der Einsatz von Argumentationsvisualisierung bei komplexen Inhalten ohne weitere Vereinfachungen der Modellierungssprache oder Verbesserung der Intuitivität und Benutzbarkeit der zur Kommunikation genutzten Visualisierung nicht zu empfehlen.
16
4.2 RIDAL – Sprache zur Modellierung von Argumentationen für
Standardisierungsprozesse
Forschungsziel
Issue Based Information Systems (IBIS) ist die verbreitetste Notation zur Modellierung von Argumentationen (mit den Bestandteilen diskutierte Fragen und Lösungsalternativen sowie deren zugrundeliegende Argumente). In früheren Studien wurde Evidenz dafür gefunden, dass die in IBIS modellierten Argumentationsnetze intuitiv verständlich und vorteilhafter als Protokolle sind (Awati, 2011; Conklin, 2003). In unserem explorativen Einsatz der IBIS Notation in Compendium LD (dokumentiert in Artikel 1) wurde jedoch von den im Prozess beteiligten Stakeholdern eingeschätzt, dass die in IBIS modellierten Argumentationsnetze bei einer hohen Modellkomplexität (über 775 diskutierten Fragen und Lösungsalternativen mit über 1400 Argumenten) zu unübersichtlich sind, um für am Prozess Unbeteiligte benutzbar zu sein. Das Forschungsziel dieses Artikels ist daher, die IBIS Notation in einer neuen Sprache RIDAL (Research Information Definition Argumentation Language) so zu vereinfachen, dass weniger visuelle Elemente benötigt werden, um die gleichen Informationen darzustellen. Zusätzlich soll eine höhere Interoperabilität, eine höhere objektive Benutzbarkeit (Usability) und eine höhere subjektive Benutzbarkeit erreicht werden. Schließlich sollen Transformationsregeln entwickelt werden, um automatisiert RIDAL in IBIS und IBIS in RIDAL transformieren zu können. Die Sprache, Übersetzung und Evaluation wird am Fallbeispiel des Untersuchungsfalls „Kerndatensatz Forschung“ auf Anwendbarkeit geprüft.
Forschungsfragen
Die Forschungsfragen werden aus dem Requirements Engineering Rahmen FURPS (Functionality, Usability, Reliability, Performance, Supportability) abgeleitet. Da nicht eine Softwareumgebung, sondern eine Modellierungssprache entwickelt wird, bilden Functionality und Usability den Fokus der Anforderungsanalyse und Evaluation.
[FF1.1] Functionality - Added Value: Ist es durch Nutzung zusätzlicher Regeln möglich, viele Definitionselemente auszulassen, ohne Informationen zu verlieren?
[FF1.2] Functionality - Interoperability: Kann RIDAL automatisiert zu IBIS hin- und rückkonvertiert werden?
[FF2.1] Usability - Objective Usability: Benötigt RIDAL weniger Speicherplatz und Tiefe der Datenstruktur, um die gleichen Informationen wie in IBIS zu übertragen?
[FF2.2] Usability - Subjective Usability: Weist RIDAL eine geringere Präsentationskomplexität auf?
Forschungsdesign
Der Artikel folgt einem ingenieurwissenschaftlichen Vorgehensmodell. Zuerst werden Anforderungen der zu entwickelnden Sprache aus den Erfahrungen der Modellierung mit IBIS im Anwendungsfall und dem FURPS Framework abgeleitet. Anschließend werden Modellierungsregeln in IBIS, in RIDAL und Transformationsregeln für die Konvertierung aufgestellt. Die Evaluation erfolgt am Beispiel der im Anwendungsfall erarbeiteten Argumentationsnetze. Die Anforderungen werden quantitativ durch Messung der tatsächlichen Kennzahlen am Anwendungsfall „Kerndatensatz Forschung“ evaluiert.
Ergebnisse
Als Ergebnis des Artikels werden 14 Regeln zur Modellierung in IBIS, 8 Regeln zur Modellierung der gleichen Inhalte in RIDAL sowie ein umkehrbarer Algorithmus zur Transformation RIDAL ↔ IBIS zur Verfügung gestellt. Zur einfacheren Kommunikation und Weiternutzung sind die Regeln auch als Abfolgediagramm aufgearbeitet. Die Evaluation zeigt, dass alle vier Forschungsfragen in unserem Untersuchungsfall positiv zu beantworten sind:
17 [FF1.1] Added Value: Durch Nutzung explizit angegebener Fragen wird die Modellierung für Experten strukturierter und die Reduktion der Komplexität ermöglicht.
[FF1.2] Interoperability: Die Konvertierung RIDAL ↔ IBIS ermöglicht es, bestehende Argumentationen in RIDAL oder IBIS zu konvertieren. Insbesondere wenn es um die Darstellung für verschiedene Zielgruppen oder die Nutzung minimaler Bandbreiten geht (z.B. Übertragungen im Mobile-Bereich), kann so die jeweils vorteilhaftere Repräsentation automatisiert erzeugt werden.
[FF2.1] Objective Usability: RIDAL benötigt zur Repräsentation der gleichen Information im Vergleich zu IBIS 49,4% des Speicherplatzes im Falle einer Textrepräsentation und 52,2% des Speicherplatzes im Falle einer WebMap Repräsentation. Die Komplexität der Argumentationsstiefe (also die Anzahl der Ebenen im Argumentationsnetz) sinkt ebenso um 50% bei Nutzung von RIDAL im Vergleich zu IBIS.
[FF2.2] Subjective Usability: Die visuelle Komplexität der Anzahl der notwendigen Knoten sinkt in unserem Anwendungsfall durch Einsatz von RIDAL um 26,3%. Die Anzahl der zur Modellierung notwendigen Links sinkt durch den Einsatz von RIDAL um 55,2%.
Der Einsatz von RIDAL zur Modellierung der Argumentation reduziert die Komplexität der Argumentationsdarstellung erheblich. Sie bildet dadurch eine der zwei Säulen für den verbesserten Zugang zu Argumentationsdarstellungen. Als zweiter Schritt wird im Folgenden (in Artikel 3 und 4) die Übertragung von Best Practices aus der Informationsvisualisierung auf die Entwicklung neuer interaktiver Prototypen für Argumentationsvisualisierung umgesetzt.
Limitationen
Die Modellierung der Argumente während eines Entwicklungsprozesses ist stets mit Modellierungsaufwand und der Bereitschaft, die Diskussionsinhalte auch öffentlich darzustellen, verbunden. Auf der Gegenseite steht jedoch die von Experten und Stakeholdern mehrfach positiv zurückgemeldete Transparenz des Prozesses. Diese Transparenzwahrnehmung zu quantifizieren ist Inhalt von Artikel 5.
Als weitere Einschränkung ist zu berücksichtigen, dass durch den Einsatz von Argumentationsvisualisierung höhere Anforderungen an Argumentationen gestellt werden. Auch dies führt zu einem erhöhten Aufwand während der Diskussion, der jedoch gleichzeitig durch ein strukturierteres und solider argumentiertes Diskussionsergebnis aufgewogen wird. Durch die Modellierung der Argumentation nach der entwickelten RIDAL-Notation verliert man die volle Flexibilität, jede Art von Frage in beliebiger Struktur zu beantworten. Dadurch wird jedoch die Transformation in eine kürzere Form und die strukturiertere Diskussion ermöglicht, weshalb diese Limitation auch positive Effekte birgt.
Darstellungen in RIDAL-Notation sind durch ausgelassene Fragen weniger intuitiv zu lesen als IBIS Argumentationsgraphen. Aufgrund der Rückmeldungen in Artikel 1 sind bei komplexen Argumentationen - aber auch IBIS - Argumentationsnetze für Außenstehende ohne Erklärung nicht verständlich und deutlich zu komplex. Beim Einsatz von RIDAL wird etwas Intuitivität gegen eine Komplexitätsreduktion von 26,2% bis 50% eingetauscht. In den interaktiven Darstellungsformen (in Artikel 5 und 6) wird daher gesonderter Wert auf interaktive Tutorials gelegt.
4.3 Development Transparency Framework
Forschungsziel
Die Modellierung von Argumentationen während des Entwicklungsprozesses wird in der wissenschaftlichen Literatur zwar als sehr vorteilhaft beurteilt (siehe Kapitel 3.2), dennoch werden die eigentlichen Argumentationen hinter Entscheidungen in realen Entwicklungsprozessen derzeit nur sehr selten in dieser Form dokumentiert. Um die Potenziale der Argumentationsvisualisierung auch während des Entwicklungsprozesses nutzen zu können,
18 wird ein Rahmen vorgeschlagen, in dem während der Entwicklungsbearbeitung die Dokumentation von Arbeitsergebnissen mit Argumentationswissen verknüpft werden kann. Im zweiten Schritt erfolgt eine qualitative Evaluation des Rahmens am Untersuchungsfall „Kerndatensatz Forschung“.
Forschungsfragen
Nach der Entwicklung des Rahmens werden folgende Forschungsfragen qualitativ evaluiert: [FF1.1] Wird die Darstellung der Argumentation als intuitiv wahrgenommen?
[FF1.2] Wird die Darstellung der Argumentation hinsichtlich der Informationspräsentation positiv wahrgenommen?
[FF1.3] Wird die Darstellung der Argumentation hinsichtlich der Informationskodierung positiv wahrgenommen?
[FF1.4] Wird die Darstellung der Argumentation hinsichtlich der Informationstiefe positiv wahrgenommen?
Diese Forschungsfragen werden vergleichend für die Prototypversionen einer Kreisdarstellung von Argumentationen, einer Baumdarstellung von Argumentationen und für die Darstellung von Alternativen und Argumenten beantwortet.
Forschungsdesign
Der Artikel folgt dem Design Science Paradigma nach Gregor und Hevner (2013) und Peffers et al. (2007). In die Entwicklung des Rahmenmodells fließen Best-Practices aus vorangegangenen Entwicklungsprojekten sowie Literatur zum Einsatz von Argumentationsvisualisierung in Gruppenworkshops ein. Das Rahmenmodell wurde im Untersuchungsfall prototypisch umgesetzt, um dessen Anwendbarkeit zu demonstrieren und den Nutzen zu beurteilen. Zur Evaluation des Einsatzes von Argumentationsvisualisierung wird ein qualitatives Vorgehen gewählt, da so im Detailgespräch mit Experten am Prototyp diskutiert werden kann, welche Vorteile, Nachteile und Verbesserungspotenziale existieren. Insbesondere während der Weiterentwicklung von Prototypen bei mangelnden empirischen Erkenntnissen in der wissenschaftlichen Literatur liegt eine große Stärke eines qualitativen Vorgehens. Insgesamt wurden 11 Experteninterviews durchgeführt. Die Auswertung der transkribierten Aufnahmen erfolgte mittels formaler Inhaltsanalyse und induktiver Kategorienbildung nach Mayring (2010). Aus dem Material wurden in einem zweistufigen Prozess Aussagen, die für oder gegen eine positive Ausprägung der Kriterien (Intuitivität, Informationspräsentation, Informationskodierung, Informationstiefe) sprechen, extrahiert. Durch die qualitative Vorgehensweise konnten neben einer Bewertung des Prototypstandes auch konkrete Weiterentwicklungsvorschläge systematisiert und gewichtet werden.
Ergebnisse
Das Development Transparency Framework (DTF) verbindet die Modellierung des Workflows (innerer Ring), der Argumentation (mittlerer Ring) und des Entwicklungsergebnisses (äußerer Ring) wie in Abbildung 2 dargestellt. Der Workflow wurde in Form von Ablaufdiagrammen modelliert und als SVG transformiert in den Prototyp integriert. Die Argumentationsvisualisierung nutzt das in Compendium modellierte Argumentationsmodell (dieses wurde von einem separat entwickelten Programm automatisiert in JSON transformiert). Darauf aufbauend wurde ein Web-Frontend in JavaScript entwickelt, um allen Nutzern im Browser einen Zugriff auf die Informationen ohne Installationsbarriere zu ermöglichen. Schließlich wurden die Entwicklungsergebnisse (in unserem Fall die resultierenden Definitionen sowie ein OWL-Datenmodell) als dritte Ebene verknüpft. Die einzelnen Detailschritte zur iterativen Erhebung und Dokumentation werden im Artikel diskutiert. Durch den Einsatz des Rahmens kann sichergestellt werden, dass alle Ebenen miteinander verknüpft
19 werden können. Im Prototyp ist es daher möglich, vom Ergebnis zu dem Teil der Argumentation zu verlinken, der zu diesem Ergebnis geführt hat. Weiterhin kann von dort aus weiter zu den Arbeitspaketen im Workflow gesprungen werden, in deren Rahmen diese Argumentation und das Ergebnis entwickelt wurde. Dies wird im Prototyp durch „Wischen“ der Darstellung zur Seite verdeutlicht. Die so kombinierten Transparenzbestandteile bieten ein holistisches Bild darüber, welche Ergebnisse mit welchen Begründungen im Prozess entwickelt wurden.
Abbildung 2: Das Development Transparency Framework (DTF)
Im Anhang ist eine Übersicht über die entwickelten Darstellungsformen angefügt. Im Rahmen der qualitativen Evaluation der Darstellungsformen der Argumentation wurde das Baumlayout als deutlich intuitiver und das Kreislayout als besser geeignet zur Kommunikation von hoher Informationstiefe beschrieben. Auch die Einbindung von Alternativen und Argumenten wurde als positiv bewertet. Insgesamt sehen die Stakeholder die Bereitstellung von Argumentationen in den Prototypen mit Implementierung der Best Practices aus der Informationsvisualisierung vorwiegend positiv. Die am häufigsten genannten Weiterentwicklungspotenziale wurden für die Weiterentwicklung der Darstellungsprototypen (siehe Artikel 4) genutzt.
Obwohl mit dem Einsatz dieses Rahmens im Kontrast zu einer alleinigen Dokumentation des Ergebnisses ein deutlich höherer Aufwand einhergeht, konnte in diesem Schritt gezeigt werden, dass durch Anwendung der Best Practices aus dem Bereich der Informationsvisualisierung die noch in Artikel 1 vorherrschende ablehnende Haltung gegenüber der Argumentationsdarstellung überwunden werden konnte. Damit wurde die Rechtfertigung für die weitere Verbesserung der Prototypen (siehe Artikel 4) sowie die Grundlage für eine anschließende quantitative Vergleichsevaluation (siehe Artikel 5) gegeben.
Limitationen
Da sich die neu entwickelten Darstellungsprototypen noch in Entwicklung befanden und die Evaluation im explorativen Stadium mit einer Stichprobe von 11 Interviews stattfand, sind die im Artikel genannten Ergebnisse vorsichtig zu interpretieren. Die Ergebnisse geben konkrete Hinweise auf Weiterentwicklungspotenziale, lassen aber noch keine generalisierbaren Schlüsse über die tatsächliche Qualität der finalen Darstellungsformen zu. Dies wird in Artikel 4 hinsichtlich der Qualität der Darstellung und in Artikel 5 hinsichtlich der Beeinflussung der wahrgenommenen Transparenz des Gesamtprozesses detailliert diskutiert und evaluiert.
20
4.4 Entwicklung von Informationssystemen zur
Argumentationsvisualisierung
Der Einsatz der bereits im Werkzeug Compendiun LD verfügbaren
Argumentationsdarstellungen wurde in unserem Anwendungsfall bei hoher Argrumentationskomplexität von externen Stakeholdern als zu komplex abgelehnt (siehe Artikel 1). Da laut dem Stand der wissenschaftlichen Literatur Argumentationsdarstellungen textuellen Darstellungen wie Protokollen jedoch überlegen sind, wurde im ersten Schritt die Komplexität des Argumentationsmodells reduziert (siehe Artikel 2). Ziel des zweiten Schrittes ist es daher, Best Practices aus dem Bereich der Informationsvisualisierung einzusetzen, um die Zugänglichkeit der Argumentationsdarstellung zu erhöhen.
Forschungsziel
Den Ausgangspunkt der Untersuchung bilden aus den aus bestehender Literatur abgeleiteten Funktionalitäten der Informationsvisualisierung (Shneiderman, 1996) und der Lösung komplexer Probleme (Klein, 2012).
Bestehende Ansätze zur Argumentationsvisualisierung zielen auf die Unterstützung des Diskussionsprozesses durch explizite Visualisierung der Argumentation für Beteiligte ab (Carr, 2003; Munneke u. a., 2007; Shum, Uren, Li, Domingue, & Motta, 2003; Van Bruggen u. a., 2003). Hinsichtlich der Wirkung von Visualisierung auf im Diskussionsprozess nicht beteiligte, aber von dem Ergebnis der Diskussion betroffene Akteure gibt es bislang keine veröffentlichten empirischen Arbeiten.
Auch wurden weitere von Shneiderman (1996) identifizierte Grundprinzipien der Visualisierung von Informationen in existierenden Argumentationsvisualisierungen (bspw. Compendium Web Maps) nur ungenügend berücksichtigt: (a) Zuerst Übersicht, (b) Zoom und Filterung, (c) Details bei Bedarf. Durch Übertragung dieser Konzepte werden Prototypen zur Argumentationsdarstellung entwickelt, die die Darstellung von Argumentationen besser als bestehende Compendium Web Maps umsetzen. In diesem Artikel werden die Dokumentation und Evaluation der Entwicklungen hinsichtlich der Visualisierungsqualität thematisiert. Im folgenden Artikel 5 werden die entwickelten interaktiven Darstellungsformen hinsichtlich der Wirkung auf die Transparenz des Gesamtentwicklungsprozesses des Untersuchungsfalls „Kerndatensatz Forschung“ evaluiert.
Forschungsfragen
Aus dem Forschungsziel wurden folgende Forschungsfragen abgeleitet:
[FF1] Kann die Reduktion der visuellen Komplexität bei Argumentationsvisualisierung durch Anwendung von Shneidermans Visualisierungsregeln erreicht werden?
[FF2.1] Weisen die entwickelten Darstellungsformen eine höhere Zugänglichkeit als Compendium Web Maps auf?
[FF2.2] Weisen die entwickelten Darstellungsformen eine bessere Informationspräsentation als Compendium Web Maps auf?
[FF2.3] Weisen die entwickelten Darstellungsformen die gleiche Informationstiefe wie Compendium Web Maps auf?
Forschungsdesign
Das Vorgehen folgt dem synthetisierten Design Science Paradigma nach Gregor und Hevner (2013) und Peffers et al. (2007). Dabei wird Wissen über eine Problemdomäne und dessen Lösung während der Entwicklung und Anwendung des Artefakts gewonnen. Zusätzlich sind dadurch die entwickelten Funktionalitäten durch empirisch erhobene Anforderungen begründbar.
21 Die Entwicklung der interaktiven Darstellungsformen der Argumentationen folgt dabei ingenieurwissenschaftlichem Vorgehen. Die Anforderungen an die Darstellungsformen werden aus 6 Expertenworkshops mit je 8 Experten und den Rückmeldungen von 13 zusätzlichen externen Experten generiert. Weiterhin werden Funktionalitäten bestehender Argumentationswerkzeuge (insbesondere Compendium Web Maps) berücksichtigt. Die Entwicklung selbst erfolgt iterativ nach dem „Referenzmodell zur Entwicklung visueller Repräsentationen“ (Mazza, 2009) und wird begleitend qualitativ und abschließend quantitativ evaluiert.
Um die entwickelten Prototypen zu evaluieren, werden zuerst eine qualitative Evaluationsphase und anschließend eine quantitative Evaluationsphase durchgeführt.
In der qualitativen Evaluation werden die in der Entwicklungsphase systematisierten Qualitätskriterien als Struktur von zehn semistrukturierten Experteninterviews abgeleitet. Hierbei wurden den Experten die Visualisierungen im Vorfeld gezeigt. Die Experten wurden systematisch nach den Kriterien befragt und konnten mehrere Argumente angeben, warum eine Darstellungsform gegenüber der anderen hinsichtlich des Evaluationskriteriums zu bevorzugen ist. Anschließend wurde erfragt, für welche der Darstellungsformen sich die Experten hinsichtlich des Kriteriums entscheiden.
In der anschließenden quantitativen Evaluation wurden 105 bislang unbeteiligten Interviewten die gleichen Kriterienfragen im Rahmen eines Onlinefragebogens gestellt. Hierbei konnten die Interviewten zwei Darstellungsformen (zugeteilt in zufälliger Reihenfolge) einsehen und dann vergleichend bewerten.
Ergebnisse
Das erste Ergebnis bildet eine gesondert entwickelte Software zur Übersetzung von Argumentationsmodellen (modelliert in RIDAL Notation) in JSON Dateien. Diese bilden die Grundlage der Darstellungsprototypen.
Im Artikel wird die Entwicklung von interaktiven webgestützten Visualisierungen in Jscript/D3.js (Bostock, Ogievetsky, & Heer, 2011) beschrieben. Dadurch ist es möglich, skalierbare Vektorgrafiken (SVG) zu generieren, die durch Interaktion veränderbar sind. Weiterhin wurde Shneidermans „Task by paper type taxonomy“ (1996) umgesetzt. Daher wurden erstmalig Lösungen zur dynamischen Zoom-, Pan-, Filter-, und Detailanzeige für Argumentationsvisualisierungen implementiert. Alle Funktionalitäten werden für eine Baum- und Kreisdarstellungsform beschrieben. Der Quellcode ist auf GitHub veröffentlicht2.
Im Artikel erfolgt eine Kurzzusammenfassung der Evaluationsergebnisse. Die differenziertere Beantwortung (hinsichtlich der Art der Evaluation und den daraus resultierenden Lösungsansätzen) der Forschungsfragen ist Tabelle 1 und Abschnitt 6.3 im Artikel zu entnehmen.
[FF1] Hinsichtlich der Reduktion der visuellen Komplexität wird die Baumdarstellung als beste Darstellungsform angegeben. Dann folgt die Kreisdarstellung. Die Compendium Web Map Darstellung wurde hinsichtlich der Umsetzung dieses Kriteriums als schlechteste Darstellung angegeben.
[FF2.1] Hinsichtlich der höheren Zugänglichkeit ist die Kreisdarstellung deutlich am positivsten bewertet worden. Die Baumdarstellung ist hier auf dem zweiten Platz, während Compendium Web Maps von den Experten sehr viel schlechter eingestuft wurden.
[FF2.2] Die Baumdarstellung ist hinsichtlich der Informationspräsentation als etwas besser als die Kreisdarstellung einzuordnen. Beide Darstellungsformen sind erneut deutlich besser bewertet als die Compendium Web Map Darstellung.
22 [FF2.3] Bezüglich der Informationstiefe wurden Baum- und Kreisdarstellung gleich gut bewertet, die Compendium Web Map dagegen wieder deutlich schlechter eingestuft.
Limitationen
Die qualitative Phase der Evaluation wurde mit zehn Experteninterviews darauf angelegt, detaillierte Einsichten in das Verständnis der Prototypen und Weiterentwicklungshinweise zu gewinnen. Die qualitative Stichprobengröße ist für Generalisierungen nicht ausreichend und die Ergebnisse dieser Phase sollten als explorativ eingeordnet werden.
In der folgenden quantitativen Phase mussten sieben Fragen ausgelassen werden, da diese sich im Vortest als zu erklärungsbedürftig herausstellten, um sie in einem quantitativen Onlinefragebogen ohne Aufsicht stellen zu können. Daher konnten nicht alle Items der Kriterien qualitativ und quantitativ geprüft werden. Weiterhin ist die Teilnahmequote mit 1% (n=52) bei der quantitativen Umfrage nicht hoch genug, um eine Generalisierbarkeit der Ergebnisse zu gewährleisten. Dennoch lässt die Kombination beider Evaluationen den Schluss zu, dass die neu entwickelten Kreis- und Baumdarstellungen hinsichtlich aller geprüften Kriterien deutlich besser als die existierenden Compendium Web Maps eingestuft wurden.
23
4.5 Einfluss von Argumentationsvisualisierung auf die
wahr-genommene Transparenz des Standardisierungsprozesses
Forschungsziel
Unzureichende Prozesstransparenz wird als eine der Hauptursachen für Projektmisserfolg (Al Neimat, 2005; Cerpa & Verner, 2009; Conklin, 2006) diskutiert. Die entwickelten Darstellungsformen ermöglichen durch eine höhere Transparenz die Adressierung dieser Ursache. Ausstehend ist die Messung der tatsächlich wahrgenommenen Transparenz. Nachdem die Argumentationskomplexität durch Entwicklung der effektiveren Modellierungssprache RIDAL (siehe Artikel 2) und die Komplexität der Darstellung (siehe Artikel 4) reduziert werden konnte, besteht das Ziel dieser Studie in der Evaluation der Wirkung der entwickelten Darstellungsformen auf die wahrgenommene Transparenz des Standardisierungsprozesses im Kerndatensatz Forschung.
Forschungsfragen
Ausgehend von der Frage der Übertragbarkeit des Messmodells von Transparenz werden in diesem Evaluationsartikel neunzehn Forschungsfragen zur Transparenz selbst und den Einflüssen auf diese Transparenz geprüft:
[FF1] Ist das quantitative Messmodell zur Messung der Transparenz von Organisationen (Rawlins, 2009) auf die Messung der Transparenz von Entwicklungsprozessen übertragbar?
[FF2.1] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Compendium Web Map höher als bei der Protokolldarstellung?
[FF2.2] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Tabellendarstellung höher als bei der Protokolldarstellung?
[FF2.3] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Baumdarstellung höher als bei der Protokolldarstellung?
[FF2.4] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Kreisdarstellung höher als bei der Protokolldarstellung?
[FF2.5] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Prozessdarstellung höher als bei der Protokolldarstellung?
[FF3.1] Nehmen Nutzer mit stärkerem Wunsch nach mehr Transparenz des Entwicklungsprozesses die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.2] Nehmen Nutzer mit einer positiven Einstellung gegenüber des Entwicklungsprozesses die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.3] Nehmen Nutzer mit einer positiven Einstellung gegenüber der entwickelnden Organisation die durch die Darstellung erreichte Prozesstransparenz stärker wahr? [FF3.4] Nehmen Nutzer, die das Tutorial der Darstellungsform positiv bewerten, die durch die
Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.5] Nehmen Nutzer, die die Visualisierungsqualität positiv bewerten, die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.6] Nehmen Nutzer mit höherer Weisungsbefugnis die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.7] Nehmen Nutzer, die häufig Visualisierungen lesen, die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.8] Nehmen Nutzer, die häufig Visualisierungen erschaffen, die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.9] Nehmen Nutzer, die sich häufig mit Visualisierungstheorie beschäftigen, die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
24 [FF3.10] Nehmen junge Nutzer die durch die Darstellung erreichte Prozesstransparenz stärker
wahr?
[FF3.11] Nehmen Nutzer, die das Projekt kennen, die durch die Darstellung erreichte Prozesstransparenz stärker wahr?
[FF3.12] Hat der Fachhintergrund der Nutzer einen Einfluss auf die wahrgenommene Transparenz des Entwicklungsprozesses?
[FF3.13] Hat das Geschlecht der Nutzer einen Einfluss auf die wahrgenommene Transparenz des Entwicklungsprozesses?
Forschungsdesign
Zur Evaluation wurde eine Zufallsstichprobe von 17.256 deutschen Professoren gezogen. Davon haben sich 1.978 Professoren an der Studie beteiligt. Jeder Studienteilnehmer bekam nach einführenden Fragen eine der sechs Darstellungsformen zufällig zugewiesen und angezeigt (inklusive Tutorial). Anschließend wurden jedem Teilnehmer die Items des onlinegestützten Transparenzfragebogens gezeigt.
Als Basis zur Evaluation der wahrgenommenen Transparenz dient Rawlins Messmodell der wahrgenommenen Transparenz einer Organisation. Der Fragebogen wurde dahingehend adaptiert, dass die Fragen auf die wahrgenommene Transparenz eines Prozesses zielen.
Nach dem Datencleaning und Test auf Vollständigkeit hinsichtlich der Transparenzitems (Details sind im Artikel im Abschnitt 4.4 Survey Sampling ausgeführt) blieben 488 Antwortende übrig, die hinsichtlich der Grundgesamtheit aller deutschen Professoren nach Fach, Altersgruppe und Geschlecht näherungsweise repräsentativ sind. Die Stichprobe ist mit einer Subject-to-variables-ratio mit 488 Fällen deutlich über den empfohlenen 17*5 = 85 (für 17 items) und damit für eine Faktoranalyse dieses Modellumfangs gut geeignet.
Ergebnisse
Eine Übersicht zu den hier diskutierten Darstellungsformen ist im Anhang angefügt.
[FF1] Auf Basis von Structural Equation Modeling (SEM) konnten nach Adaption der Interviewfragen sehr gute absolute, relative, komparative und nichtzentralitätsbasierende Fit-Indizes erreicht werden (siehe Abschnitt 5.2 im Artikel). Die Reliability-Alphas aller Faktoren liegen über 0.87 im hohen Bereich. Damit ist das Messinstrument in unserem Fall sehr gut anwendbar. Der adaptierte Fragebogen ist für die Anwendung in weiteren Forschungen dokumentiert.
[FF2.1] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Compendium Web Map höher als bei der Protokolldarstellung?
In unserem Anwendungsfall mit komplexen Argumentationsmodellen wurden Compendium Web Maps hinsichtlich ihrer Transparenzwahrnehmung insgesamt deutlich schlechter als Protokolle bewertet (siehe Tabelle 7 im Artikel). Von allen untersuchten Darstellungsformen ist die Darstellung der Argumentation als Compendium Web Map am schlechtesten hinsichtlich der Kommunikation von Transparenz bewertet worden.
[FF2.2] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Tabellendarstellung höher als bei der Protokolldarstellung?
Die Tabellendarstellung (die auch im Entwicklungsprojekt KDSF zum Einsatz kam) ist hinsichtlich der Erstinformation von im Projekt unbeteiligten Stakeholder etwas schlechter als die Protokolldarstellung bewertet worden und liegt insgesamt auf dem dritten Platz.
[FF2.3] Ist die wahrgenommene Transparenz des Entwicklungsprozesses bei der Baumdarstellung höher als bei der Protokolldarstellung?
