8 Evaluation des Verfahrens
In diesem Kapitel wird die Auswahl der Forschungsmethode begründet, das Vorgehen beschrieben und es werden Ergebnisse dargestellt. Das Vorgehen erfolgte in Form einer Fallstudie.
Applikation vor Einsatz des Verfahrens terminologische Mängel existieren53. In einem zweiten Schritt bewerten drei Experten den durch die Anwendung des Verfahrens entstandenen Redesign-Vorschlag.
Als Experten konnte jeweils eine Person aus der Softwareentwicklung (Prof. Dr. Groß), dem Usabili-ty Engineering (Thomas Geis) und der Terminologiewissenschaft (Prof. Dr. Schmitz) gewonnen werden.
Prof. Dr. rer. nat. Matthias Groß ist am Institut für Informationswissenschaften der Fachhochschule Köln tätig und Inhaber und Geschäftsführer der Firma INSIGMA IT Engineering GmbH Köln.
Thomas Geis ist Geschäftsführer der ProContext GmbH und seit 1993 im Arbeitsgebiet Usability Engineering tätig. Er hat zahlreiche Anforderungsanalysen aus Nutzersicht, Interaktionsdesign-projekte und Usability-Tests sowie Schulungen für Software-Entwicklungsteams durchgeführt. Er leitet den DIN-Ausschuss „Benutzungsschnittstellen“ und den ISO-Ausschuss „Common Industry Formats for Usability-Related Information“. Prof. Dr. phil. Schmitz hat einen Lehrstuhl für Termino-logiewissenschaft und Sprachdatenverarbeitung am Institut für Translation und Mehrsprachige Kom-munikation der Fachhochschule Köln; er ist Präsident des Internationalen Informationszentrums für Terminologie (Infoterm, Wien) und Vizepräsident des Deutschen Terminologie-Tags sowie Obmann des DIN-Normenausschusses NA 105-00-05 AA „Systeme für die Verwaltung von Terminologie, Wissen und Content“.
Eine Evaluation durch Nutzer selbst wäre nicht valide gewesen, da eine Formulierung der Testaufgaben terminologisch unabhängig vom User Interface nur schwer möglich ist. Molich stellt dazu fest, dass sieben von neun Teams, die Usability-Tests durchgeführt haben, den Fehler machten, in der Aufgabenstellung für Nutzer versteckte Hinweise zu geben (vgl. Molich/Ede et al. 2004). Die Aufforderung „Erstelle eine persönliche Signatur“ verwendet im Vorhinein bereits die Benennung
„Signatur“, die im User Interface verwendet wird. Dies testet eher das Wiedererkennen als die Aufga-benangemessenheit, der auftretende Immunisierungseffekt wurde bereits beschrieben.
Die Annahme, dass Experten quasi stellvertretend für Nutzer testen ist nicht zielführend. Vielmehr ist im Usability Engineering anzustreben, dass die Experten einen Vorabcheck machen, in dem z.B. die nicht erwartungskonforme Verwendung von Interface-Elementen geprüft wird. Ein Experte für die Interface-Gestaltung ist nicht Experte für die Arbeitsabläufe, für welche die Software Unterstützung bieten soll. Nur Nutzer selbst können prüfen, ob eine Software eine Arbeitsaufgabe gut unterstützt. Im vorliegenden Fall liegt der Fokus der Begutachtung ausschließlich auf der Terminologie im User Interface. Zur Bewertung der Methoden software-ergonomischer Evaluation gibt es einige Unter-suchungen und zahlreiche Befunde. Die Befunde der VergleichsunterUnter-suchungen divergieren jedoch stark: Jeffries et al. (1991) finden beispielsweise, dass eine Experteninspektion effektiver und effi-zienter funktioniert als ein Benutzbarkeitstest; in einer Studie von Karat et al. (1992) ist die Befund-lage dagegen genau umgekehrt (zitiert nach Gediga/Hamborg 2002, S.21).
53 Das Urteil der Verfasserin wurde im Rahmen des Projektes erstellt und hier mit herangezogen.
Eine weitere Möglichkeit der Beurteilung ist die Nutzerzufriedenheit anhand von zwei verschiedenen Prototypen mit semantisch unterschiedlich dimensionierten Oberflächen54 von Nutzern beurteilen zu lassen. Gegen diese Beurteilung des Verfahrens spricht, dass die Intention des terminologisch zentrierten Verfahrens nicht darin besteht, aus mehreren Gestaltungsalternativen für ein User Interface eine als die angemessene auszuwählen. Vielmehr stellen die Ergebnisse des Verfahrens eine konzeptuelle Basis für die Weiterentwicklung der Software zur Verfügung. Auf dieser Basis können dann Varianten eines User Interface für verschiedene Nutzergruppen mit jeweils passenden Benennungen oder auch ein User Interface mit Benennungen für verschiedene Nutzergruppen entwickelt werden. So soll trotz permanenter Weiterentwicklung für neue Einsatzkontexte die Nutzungsqualität gewährleistet werden. Außerdem erhalten erfahrungsgemäß in der Praxis statistische Werte über Nutzerzufriedenheit nur eine geringe Akzeptanz bei Softwareentwicklern und den Verantwortlichen. Gefragt sind fundierte Redesign-Vorschläge, die aufgrund des hier vorgestellten Verfahrens geliefert werden können.
Eine alternative Möglichkeit der Beurteilung wäre die weitverbreitete Messung der subjektiven Nutzerzufriedenheit vor – und nach einem Redesign. Dieser Weg war im vorgegebenen Fall aus mehreren Gründen nicht sinnvoll. Zum einen hat eine Voruntersuchung zur (subjektiven) Nutzer-zufriedenheit (siehe Anhang A)55 ergeben, dass es keine nennenswerte Unzufriedenheit der Nutzer mit der Applikation gibt. Infolgedessen wäre dann auch keine signifikante Änderung dieses Wertes nach Durchführung des Verfahrens zu erwarten.
Zum anderen ist eine Befragung nach dem Redesign frühestens drei Monate nach dessen Einführung sinnvoll, da zu Beginn normalerweise mit Einarbeitungsproblemen zu rechnen ist (vgl. Dzida 1997).
Einarbeitungsprobleme sind jedoch von Nutzungsproblemen zu unterscheiden. Nutzungsprobleme überdauern die Einarbeitungsphase. Sie sind wiederum in Probleme zu differenzieren, die lediglich eine Erschwernis bei der Aufgabenbearbeitung darstellen und solche die zu einer Behinderung des Arbeitsablaufs führen.56
Empirische Untersuchungen sind eine weitverbreitete Form der Evaluation von Software hinsichtlich der Nutzerzufriedenheit, oft initiiert von Psychologen. Da der Einsatz des Verfahrens nicht nur zu einer höheren Nutzerzufriedenheit, sondern auch zu einer besseren Pflegbarkeit von Applikationen
54 Semantische Dimension meint dabei z.B., dass man die Benennungen der Menüoptionen bzw. Navigationspunkte einmal um einen Begriff als zentrales Arbeitsobjekts semantisch anordnet (z.B. Akte anlegen, schließen) und als Alternative ein anderes Arbeitsobjekt (Substantiv) wählt, dem dann entsprechend andere Verben zugeordnet werden (z.B. Vorgang aufrufen, beenden). Dies ist eine nicht triviale Angelegenheit, da im Computer Arbeitsgegenstand (z.B. Akte) und Arbeitsmittel (z.B. Tabellenkalkulation für Berechnung von Auslas-tungsquoten) beide in digitaler Form vorliegen.
55 Das Ergebnis des Benutzerfragebogens liefert eine Aussage zur (subjektiven) Zufriedenheit der Nutzer. Die beiden anderen Kriterien für Nutzungsqualität, die Effektivität und Effizienz sind nur mit viel Aufwand zu prüfen. Als Effektivität wäre zu prüfen gewesen, wie viele Ticktes pro Zeiteinheit von einem Nutzer vor und nach dem Redesign bearbeitet werden. Als Effizienz wäre zu prüfen gewesen, wie viel Zeit ein Nutzer für die vollständige Bearbeitung eines Tickets vor und nach dem Redesign benötigt. Dabei hätte noch gewährleistet werden müssen, dass die Tests vor und nach dem Redesign mit den gleichen Personen durchgeführt werden. Dieser, zwar normativ vorgeschlagene Weg der Messung wird von Anwenders kaum praktiziert. Zumal in vielen Fällen nicht ausschließlich die Beschleunigung von Durchlauf-zeiten angestrebt ist, sondern das unkoordiniert gewachsene User Interface quasi glattgezogen werden soll.
56 Es hat sich in Projekten als hilfreich erwiesen Nutzungsprobleme zu klassifizieren. Drei Klassen von Nutzungsproblemen sind zu unter-scheiden: gestalterische Probleme, Erschwernisse und Behinderungen. Der ersten Klasse wird häufig eine niedrige Priorität zugewiesen, wohingegen Behinderungen des Arbeitshandelns hoch zu priorisieren und oft funktionaler Natur sind.
führt, waren auch informatische Methoden zu betrachten. Auf die eingeschränkte Tauglichkeit empi-rischer Methoden für die Informatik verweist Büttemeyer (vgl. Büttemeyer 1995, S.108ff.). Empiri-sche Methoden können nur widerlegen, aber nicht bestätigen. Formale Methoden, also induktive Schlüsse und mathematische Beweise, sind geeignet, Programme (eingeschränkt) zu verifizieren. Zur Validierung von Anforderungen sind formale Methoden jedoch nur bedingt geeignet. Daher sind spezielle Methoden des Usability Engineering heranzuziehen. Diese können empirisch oder kon-struktiv sein. In der Informatik, die nicht nur analysiert, sondern auch synthetisiert werden seit einiger Zeit konstruktive Methoden diskutiert (vgl. Schefe 1987, Floyd 1989, König/Heinzl et al. 2008).