«eGov Präsenz» 2/07
65 Forschung / Analyse – International
Messung des Erfolges von IT-Investitionen
66
umgesetzt. Ziel dieses Projekts war die Ab-bildung der gesamten Haushaltsverrech-nung in der Standardsoftwareanwendung SAP. Das PITAF-Modell wird nun an die-sem Investitionsvorhaben erprobt.
Die Bindung von Kapital in IT-Anlagen im öffentlichen Sektor wird unter unterschied-lichen Gesichtspunkten getroffen. Ver-schiedene rechtliche und organisatorische Rahmenbedingungen sowie politische und zeitliche Faktoren spielen bei der Projekt-planung eine wichtige Rolle. Diese Aus-gangssituation beeinflusst die Nutzenent-wicklung eines Projekts massgeblich, weshalb das PITAF-Modell eine Typisie-rung von IT-Projekten und eine Klassifizie-rung von IT-Investitionen vorsieht.
Bei der Anwendung des PITAF-Modells wird davon ausgegangen, dass jedes In-vestitionsvorhaben in Form eines Projektes abgewickelt wird und somit verschieden-artige Projekttypen entstehen. Daher ist im ersten Schritt die Festlegung des Projekt-typus vorgesehen. Der Typus stellt die grundlegende Ausrichtung des Investi-tionsvorhabens dar. Dabei wird anhand von Kriterien wie Zielrichtung und Fokus, Entscheidungsschwerpunkt, Aufwand und grundlegende Nutzeneffekte unterschie-den. Zur Bestimmung wird den Entschei-dungsträgern ein Fragebogen mit Typus-charakteristiken vorgelegt. Dabei werden beispielsweise prozessorientierte Projekte dem Typus ERP zugeordnet, während in-formationsorientierte Projekte eher dem Typus BI zugerechnet werden. Das Projekt HV-SAP wurde aufgrund der Eckdaten als ERP-Typus eingestuft.
Die Klassifizierung der IT-Investition dient dazu, die Besonderheiten, die den
einzelnen Investitionsarten zugrunde lie-gen, zu identifizieren. Die Strukturierung hilft auf der einen Seite sicherzustellen, dass keine Aspekte übersehen werden und schafft auf der anderen Seite die Mög-lichkeit, dass sich Projekte desselben Typs auch in ihrer Konfiguration unterscheiden können. Unter Einbezug von IT-Fachleuten der öffentlichen Verwaltung wurde ein spe-ziell auf die Charakteristiken des öffent-lichen Sektors angepasstes Klassifizie-rungsschema entworfen. Generell geht man davon aus, dass sich jedes IT-tionsvorhaben aus einer Reihe von Investi-tionselementen zusammensetzt. Diese Elemente können anhand der Einteilung in Hardware, Software und IT-Services grob strukturiert werden. In einem weiteren Schritt wird spezifiziert, in welche Kompo-nenten (Anwendungssoftware, IT-Know-how, Supportleistungen…) investiert wurde.
Bei der Analyse des Projektes HV-SAP wurde festgestellt, dass ein Grossteil der Budgetsumme in die Anschaffung von An-wendungssoftware und IT-Services geflos-sen ist, was in der Auswahl der Kenn-zahlen Niederschlag findet. Ziel ist es, nicht nur den Nutzen bzw. den Mehrwert der Investition in Bezug auf unterschied-liche Komponenten zu bewerten; das Mo-dell soll zudem zur Fehleranalyse dienen, falls der erwartete Nutzen nicht erreicht wird.
Vorgehensweise des Public IT Assessment Frameworks
Das Public IT Assessment Framework ist ein Verfahren, welches ein standardisiertes Vorgehen zur Nutzenmessung von IT-In-vestitionen und einen strukturierten und
reibungslosen Ablauf der Tätigkeiten im Rahmen eines Evaluierungsprojektes er-möglicht. Es dient als eine Art Leitfaden durch die Evaluierung, wobei Dritten ein möglichst einfacher und übersichtlicher Einblick über das Vorgehen der Evaluie-rung verschafft wird.
In einem ersten Schritt werden wie be-reits im vorigen Abschnitt beschrieben, der Typus des Investitionsprojektes und die einzelnen Investitionselemente be-stimmt. Der Typus ist ausschlaggebend für die Wahl des Basismodells und der Kennzahlen, welche im weiteren Vorgehen zum Einsatz kommen. Des weiteren las-sen sich aus dieser Klassifizierung der Investitionselemente auch Wirkungszu-sammenhänge ableiten, welche eine Ursa-chenforschung bei Nicht-Erreichen des erwarteten Nutzens ermöglichen. Wenn der Projekttypus und die Investitionsele-mente definiert sind, ist die Basis für das weitere Vorgehen geschaffen.
Ein grundlegender Faktor bei der Mes-sung des Nutzens von IT-Investitionen ist das gewählte Basismodell. Für PITAF wur-de das «IS Success Mowur-dell von DeLone und McLean» ausgewählt. Dieses Basis-modell dient primär als inhaltlicher Rah-men zur Zuordnung der Messpunkte und weist folgende wesentliche Eigenschaften auf:
– Mehrdimensionalität (System-, Informa-tion- und Service-Quality, User Satis-faction, Intention to Use, Net Benefits) – Wirkungszusammenhänge zwischen den
Dimensionen – Prozessmodell – Flexibilität – Unabhängigkeit
Abbildung 1: IS Success Modell nach DeLone und McLean1 System Quality Bewertet die technischen
Aspekte des Informationssystems
Information Quality Bewertet die Qualität der Information an sich
Service Quality Bewertet die IT-Abteilung
als Serviceanbieter
Information Use Bewertet die Nutzung des Informationssystems durch
den Enduser
User Satisfaction Bewertet die Zufriedenheit der Benutzer bezüglich dem
Output des Informationssystems
Net Benefits Bewertet die Auswirkungen auf die Organisation und das Verhalten sämtlicher Benutzer aufgrund der Information
Forschung / Analyse – International
«eGov Präsenz» 2/07
67
Im Laufe der Literaturrecherche zu PI-TAF wurde eine Vielzahl an Büchern, Ar-tikel und Studien in Bezug auf die Nutzen-evaluierung von IT-Investitionen in der öffentlichen Verwaltung untersucht. Das
«IS Success Modell nach DeLone und McLean» war dabei eindeutig das meist-genannte und auch meisterprobte Modell.
Es gibt Studien, die belegen, dass dieses Rahmenmodell auch für Untersuchungen im Bereich des öffentlichen Sektors geeig-net ist.
Im Sinne des Projektes PITAF sollte ein pragmatisch umsetzbares und wissen-schaftlich fundiertes Modell entwickelt werden. Aufgrund der vielen Publikationen und empirischen Anwendungen des Mo-dells kann davon ausgegangen werden, dass ein wissenschaftliches Fundament gewährleistet wird. Das Modell von DeLone und McLean sieht in erster Linie eine ex post Bewertung vor. Mit den ge-eigneten Kennzahlen und Methoden lässt sich aber auch eine ex ante Bewertung ableiten.
In Abhängigkeit vom Projekttypus und des Basismodells nach DeLone und McLean wurde ein Kennzahlenset erstellt, welches den Anforderungen des jeweiligen IT-Vorhabens entspricht. Das PITAF-Kenn-zahlenset umfasst 33 Kennzahlen aus den unterschiedlichsten Investitionsbereichen.
Diese Kennzahlen werden anhand empi-rischer Erhebungsmethoden ermittelt und anschliessend ausgewertet. Ihre Erhebung erfolgt entweder mittels Experten-Intviews, um punktuelle Informationen zu er-halten, oder mittels Gruppenbefragungen, um eine grosse Menge an Nutzern zu erreichen.
Nach der Auswertung der Einzelergeb-nisse der Kennzahlen werden diese inner-halb der jeweiligen DeLone- und McLeDimension zusammengefasst und an-schliessend zu einem aussagekräftigen Gesamtergebnis aggregiert. Das Ergebnis wird durch eine Gewichtung der Kenn-zahlen beeinflusst. Diese Gewichtung er-folgt bereits vor der Auswertung der Ergebnisse und berücksichtigt die unter-schiedlichen Wertigkeiten der Kennzahlen.
Die Methodik, mit welcher die Aggregation der Ergebnisse erfolgt, ist der Analytic Hierarchy Process. Die Bewertung des Informationssystems nach Schulnoten soll eine eindeutige Ergebnisdarstellung er-möglichen.
Organisatorische Abwicklung der Evaluierung
PITAF unterteilt sich grundsätzlich in drei Phasen. Phase eins ist die Projektvorbe-reitung, in welcher ein Initialisierungs- und Organisationsworkshop abgehalten wer-den. In dieser Phase werden die
Anforde-rungen an das jeweilige Evaluierungsvor-haben festgelegt und das vorliegende IT-Projekt abgegrenzt. Des Weiteren erfol-gen eine Definition des Projekttypus und eine Aufteilung desselben in die jeweiligen Investitionselemente. Aus dieser Phase re-sultiert zudem die Auswahl der Kennzahlen und Elementarmethoden. Dabei ist auch zu klären, ob die Kennzahlen, so wie sie im Rahmen des PITAF-Modells definiert sind, überhaupt ermittelt werden können, bzw. ob Änderungen notwendig sind. So-bald die Kennzahlen feststehen, erfolgt deren Zuordnung zu den jeweiligen Exper-tinnen und Experten bzw. dem Personen-kreis, welcher für eine Gruppenbefragung in Frage kommt.
Die zweite Phase ist die Projektevaluie-rung. In dieser Phase werden nicht nur die Inputdaten der einzelnen Kennzahlen er-hoben, sondern auch ausgewertet. Es handelt sich hier um die zeitintensivste Phase, da die Durchführung der Interviews und Gruppenbefragungen mit dem Auf-traggeber des Projektes abgestimmt wer-den müssen.
In der dritten und letzten Phase erfolgt die Projektpräsentation. Hierbei wird ein Endbericht mit allen Ergebnissen der Eva-luierung erstellt.
Die Universität von Albany präsentierte im Jahr 2006 ein alternatives Vorgehens-modell zur Messung des Erfolges von In-formationssystemen in der öffentlichen Verwaltung. Das Projekt «Advancing Re-turn on Investment, Analysis for Govern-ment IT» beschreibt ein Modell, welches im Vergleich zu PITAF eine andere Schwer-punktsetzung verfolgt. Dabei steht haupt-sächlich der sog. «Public Value» im Zen-trum der Betrachtung. Mit diesem Ansatz soll der Fokus auf die Darstellung des Er-folges nicht aus Sicht der öffentlichen Ver-waltung, sondern aus der Sicht der Bevöl-kerung gesetzt werden. Es stellt sich dabei die Frage, welchen Nutzen bzw. Erfolg sich auf die Nutzenden der jeweiligen IT-Lösung auswirkt. Die Interessen der Sta-keholder sind dem Mehrwert des Informa-tionssystems gegenübergestellt2. Dieses Projekt ist in der Umsetzungsebene mit PITAF nicht direkt vergleichbar, liefert aber einige theoretische Ansätze zur Erweite-rung des Vorgehens.
Abschliessende Bemerkung PITAF wurde bisher an zwei Projekten in der öffentlichen Verwaltung erprobt. Aus den Erfahrungen dieser Evaluierungspro-jekte lassen sich folgende Aussagen ablei-ten: PITAF hat sich in seiner bestehenden Form gut bewährt. Das Vorgehensmodell ist weitgehend unabhängig vom zu unter-suchenden Projekt und erlaubt eine ge-wisse Flexibilität. Das
PITAF-Kennzahlen-set deckt die wesentlichsten Bereiche einer Investition in Informationssysteme ab. Auch die Erhebung der Inputdaten hat sich weitgehend problemlos gestaltet.
Dennoch gibt es Kritikpunkte bzw. Verbes-serungspotenzial für nachfolgende Evalu-ierungsprojekte: Die Durchführung des PITAF-Modells gestaltete sich für kleine Projekte als eher schwierig. Dabei ist zu beachten, dass in kleineren IT-Projekten wesentlich weniger Messungen und Auf-zeichnungen gemacht werden als bei grossen Projekten. Aus diesem Grund müsste eventuell die Projektgrösse im Vor-gehensmodell mitberücksichtigt werden.
In einer abschliessenden Bemerkung ist festzuhalten, dass PITAF mit seinem spe-ziellen Vorgehen und den wissenschaft-lichen Inhalten, universell einsetzbar und praxistauglich ist. Die Ergebnisse stellen den Nutzen des jeweiligen Informations-systems übersichtlich und eindeutig dar, und lassen somit Rückschlüsse auf die Rentabilität der Investition zu.
1 DeLone, W. H. und McLean, E. R. (2003): «The DeLone and McLean Model of Information Systems Success:
A Ten-Year Upgrade», Journal of Management Informationsystems, 19(4), S. 24
2 Cresswell, A. M., Burke G. B. und Padro T. A. (2006):
«Advancing Return on Investment, Analysis for Government IT», S. 1
Forschung / Analyse – International
68 Praxis – Schweiz