Performance Measurement in den USA

Wesentlicher Auslöser für Leistungsmessungen insbesondere auf Ebene der Bundesstaaten war ein Bundeserlass aus dem Jahr 1993 (Government Performance and Results Act) sowie entsprechende Folgeregelungen in den einzelnen Bundesstaaten. Diese Regelungen verlangen eine zielorientierte Arbeit in den Verwaltungen und die Berichterstattung über diese Arbeit. Daraus leitete sich die Rolle der „accountability“ ab, die mit dem Performance Measurement belegt werden soll (POISTER, 2005). Dieser Begriff lässt sich sowohl mit „Verantwortlichkeit“ als auch mit „Rechenschaftspflicht“

übersetzen und vereint damit eine innere Haltung und eine Verpflichtung der Exekutive.

Die Etatgestaltung auf Ebene der Bundesstaaten erhöht den Stellenwert des Performance Measurements für die Departments of Transportation (DOTs).³¹ Die Außenwahrnehmung hat dabei einen erheblichen Einfluss auf die finanziellen Mittel der DOTs. Die Problematik kann am Beispiel des Bundesstaats Washington verdeutlicht werden. In einer Bürgerabstimmung im Jahr 1999 wurden die fahrzeugbezogenen Gebühren und zweckgebundenen Steuern, die die Grundlage des Verkehrshaushalts darstellen, wegen der Unzufriedenheit der Bürger mit dem Verkehrssystem erheblich reduziert. Im Folgejahr sind die Effizienz und die „accountability“ des Washington State DOT (WSDOT) im Bericht der parlamentarischen Bewertungskommission („Blue Ribbon Commission of Transportation“) sehr negativ beurteilt worden. Auch in den Medien wurde eine Krise des Verkehrssystems thematisiert. Diese Auffassung deckte sich jedoch nicht mit der Selbsteinschätzung des WSDOTs. Die Beseitigung dieses als „Informationsasymmetrie“ bezeichneten Phänomens wurde somit zur wesentlichen Aufgabe des WSDOT, die insbesondere durch ein umfangreiches Performance Measurement mit einem umfassenden, öffentlichen Berichtswesen („Performance Reports“) gelöst werden konnte. Das Ansehen des WSDOT und damit die Haushaltssituation haben sich in den Folgejahren erheblich verbessert (BREMMER/BRYAN, 2008b).

Der Zusammenhang zwischen der Finanzlage und dem Performance Measurement führt in manchen DOTs jedoch auch teilweise dazu, dass die Ressourcen, die im Performance Measurement investiert werden, in Zeiten einer gesicherten Finanzierung reduziert werden.³²

Die hohe Bedeutung der Außenwahrnehmung als Grundlage des Etats als Motivationsfaktor wird auch an der sehr unterschiedlichen Verbreitung des Performance Measurements in den Bundesstaaten im Vergleich zu den Städten deutlich. Die Haushaltsplanung in den Städten unterscheidet sich grundsätzlich, die Etats hängen kaum von der unmittelbaren Außenwahrnehmung der einzelnen Verwaltungseinheiten ab. Entsprechend finden sich in den Städten kaum Beispiele eines Performance Measurements, während alle Bundesstaaten entsprechende Ansätze umsetzen.

Vor diesem Hintergrund werden wesentliche Unterschiede dieses Performance Measurements zum modernen Qualitätsmanagement deutlich. Während im Qualitätsmanagement die Prozess-orientierung wesentlicher Grundsatz ist, spielt sie beim Performance Measurement zunächst keine Rolle, da vor allem Ergebnisse verdeutlicht werden sollen, während die zugrundeliegenden Prozesse dahinter von der Verwaltung nicht in Frage gestellt werden oder zumindest im Hintergrund stehen.

30 Die Darstellung basiert weitgehend auf dem Experteninterview mit Daniela Bremmer, Director of Strategic Assessment, Washington State Department of Transportation (USA), am 20.05.2008. Nur ergänzende Quellen werden genannt.

31 Der Begriff „Department of Transportation (DOT)“ lässt sich nicht eindeutig übersetzen. Einerseits übernehmen die DOTs Funktionen eines Verkehrsministeriums und sind der Regierung direkt untergeordnet. Im Gegensatz zu den deutschen Verkehrsministerien übernehmen die DOTs jedoch zusätzlich die Aufgaben, für die in Deutschland von den nachgeordneten Behörden verantwortlich sind. Um Missverständnisse zu vermeiden, wird deswegen im Folgenden der amerikanische Begriff verwendet.

32 Aussage im Experteninterview mit Scott Bassett, Oregon Department of Transportation (ODoT, USA), am 21.05.2008

Entsprechend findet bei Mängeln meist auch keine direkte Rückkopplung zu den Prozessen statt. In der Regel sind keine Qualitätsmanagement-Prozesse als Reaktionen auf Mängel festgelegt.

Mängel sind auch im Sinne eines Qualitätsmanagements teilweise nicht feststellbar, weil sie die Ermittlung von Anforderungen und die darauf aufbauende Festlegung von Qualitätszielen voraussetzen. Die Darstellungen im Performance Measurement sind jedoch teilweise reine Ergebnisdarstellungen, die nicht zu konkreten Anforderungsniveaus in Bezug gesetzt werden.

Allerdings nutzen die DOTs in aktuellen Entwicklungen das Performance Measurement verstärkt für die strategische Entwicklung im Sinne von inhaltlichen Schwerpunktsetzungen.

In den 1990er Jahren waren auch normorientierte Qualitätsmanagement-Ansätze in den DOTs durchaus verbreitet, wobei der Fokus aber stark auf die Abwicklung interner Prozess lag, während die Ergebnisqualität aus Sicht der Verkehrsteilnehmer im Hintergrund stand. Diese Ansätze haben sich nicht durchgesetzt.

Während Performance Measurement in Städten kaum eingesetzt wird, gewinnt es als „Performance-based planning“ in den Regionalverwaltungen an Bedeutung. Dabei werden zum Beispiel in den Metropolregionen Portland und Puget Sound (Seattle) Leistungskennzahlen insbesondere genutzt, um die Messbarkeit der Ziele von regionalen Verkehrsentwicklungsplänen sicherzustellen und darauf aufbauend den Umsetzungsfortschritt zu überwachen.³³

Der hohe Stellenwert des Performance Measurements und der Bedarf an einer Weiterentwicklung und einem Austausch wird auch daran deutlich, dass beim Transportation Research Board (TRB) eine Arbeitsgruppe (Committee ABC 30) speziell für dieses Themenfeld eingerichtet wurde.

4.4.2.2. Entwicklungen im Performance Measurement

BREMMER et al. (2005) identifizieren in einer Analyse der US-amerikanischen DOTs drei Generationen bezüglich des Standes ihres Performance Measurements.³⁴ Als „traditionelle“ DOTs werden solche bezeichnet, die z. B. als Grundlage eines Performance Measurements aus

„traditionellen“ Qualitätsmanagement-Ansätzen über Kennzahlensysteme verfügen, die aber sehr auf die Bewertung von Planungen und Programmen ausgelegt sind, ohne jedoch eine zielführenden Systematik und einen langfristigen strategischen Rahmen für das Performance Measurement entwickelt zu haben.

Die zweite DOT-Generation zeichnet sich durch die hierarchische Strukturierung des Kennzahlensystems aus. Diese Struktur basiert auf einer langfristigen strategischen Planung, aus der zunächst Vorgaben für mittelfristige strategische Planungen und schließlich für kurzfristige Geschäftspläne abgeleitet werden.

Als dritte Generation werden DOTs genannt, die durch besondere Auslöser angestoßene Anpassungen vornehmen mussten („catalyst driven adaption“). Diesen DOTs ist es gelungen, ihr Performance Measurement so zu gestalten, dass es auf verändernde politische Anforderungen reagieren kann. Auslöser für derartige Entwicklungen sind insbesondere Regierungswechsel oder neue Finanzierungs- und Förderrichtlinien. Auch die Einführung von unabhängigen Verwaltungsaudits kann derartige Veränderungen hervorrufen. Dabei ist festzustellen, dass leistungsbezogene Audits der DOTs zunehmend Verbreitung finden.

Als Konsequenzen dieser steigenden Anforderungen nennen BREMMER et al. (2005):

33 Aussagen in den Experteninterviews mit Deena Platman, Principal Transportation Planner, Metro, am 21.05.2008 und mit Robin Mayhew, Program Manager, Puget Sound Regional Council (PSRC), am 28.05.2008

34 Eine umfangreiche Zusammenstellung des Sachstands als Ergebnis dieser Untersuchung wird in der „Performance Measurement Library“ als Linkliste auf der Website des WSDOT (http://www.wsdot.wa.gov/Accountability/Publications/Library.htm) bereit gestellt.

eine stärker auf die Öffentlichkeit gerichtete Kommunikation,

eine stärkere Einbindung der Mitarbeiter in die Performance-bezogenen Entwicklungen, die verbreitete Durchführung von Vorher-Nachher-Untersuchungen und

die verstärkte Verwendung vertraglich vereinbarter Leistungskennzahlen als Grundlage der Vergabe von Leistungen.

Parallel zu dieser Entwicklung wird eine daran anknüpfende Diskussion um die Art der Kennzahlen geführt. Traditionelle Performance Measurement-Systeme basieren meist auf Kennzahlen, die die Produktivität der jeweiligen Verwaltungen („output“) beschreiben, z. B. die Anzahl abgeschlossener Projekte oder die Länge erneuerter Straßenabschnitte. Gefordert wird eine Fokussierung auf

„outcome“-orientierte Kennzahlen, also solche, die das Ergebnis aus Sicht der Verkehrsteilnehmer beschreiben. Beispiele sind Reisezeiten oder Unfallraten (TARNOFF,2007).

4.4.2.3. Gegenstände und Kenngrößen

Performance Measurement wird von den DOTs grundsätzlich für alle Verkehrsmittel angewendet.

So beinhaltet des Performance Measurement des WSDOT auch den beauftragten Zugverkehr sowie den Fährverkehr, der vom DOT selbst betrieben wird. Ein starker Fokus liegt jedoch auf dem Straßenverkehr. Die bestehenden Ansätze beinhalten in der Regel sowohl output-orientierte als auch outcome-orientierte Kennzahlen.

Als outcome-orientiertes Kriterium, das für den Straßenverkehr weit verbreitet ist, dient die Reisezeit. In den letzten Jahren hat sich jedoch gezeigt, dass die Angabe der Reisezeit als Mittelwert nicht den Anforderungen der interessierten Verkehrsteilnehmer entspricht, vielmehr gewinnt die Zuverlässigkeit zunehmend an Bedeutung. Während die Pünktlichkeit im ÖPNV als Fahrplanabweichung direkt messbar ist, stellt sich die Festlegung eines Sollwerts im MIV schwierig dar, weil die freie Fahrt nicht unbedingt als Maßstab geeignet ist. Angegeben wird deswegen ergänzend zum Mittelwert der 95 %-Perzentilwert der Reisezeit (WSDOT, 2008).

Da keine Standardisierung für das Performance Management besteht, ist die Vielfalt der verwendeten Kenngrößen je nach Datenverfügbarkeit und individueller Bewertung der Aussagekraft sehr groß. TARNOFF (2005) listet alleine elf in der Praxis verwendet Kenngrößen auf, um das Kriterium Reisezeit abzubilden. Im „Guidebook für Performance-Based Transportation Planning“

(TRB, 2000) ist eine umfangreiche Kenngrößen-Bibliothek enthalten, die nach acht Zielfeldern sortiert ist und jeweils nach weiteren Kriterien untergliedert wird.

Um eine Vergleichbarkeit zwischen den Bundstaaten im Sinne eines Benchmarkings zu ermöglichen, schlägt TARNOFF (2005) die Standardisierung der verwendeten Kenngrößen vor und entwickelt einen kompakten Satz von Kenngrößen für die interne und externe Kommunikation. Die Forderung nach einer Standardisierung wird inzwischen auch auf Bundesebene erhoben. Die Bundesstaaten bringen sich dabei intensiv in die Diskussion ein, um das Ergebnis entsprechend den jeweiligen Anforderungen beeinflussen zu können. In der Diskussion um eine Standardisierung sind auch Befindlichkeiten der Beteiligten zu berücksichtigen, da die Wahl der Kenngrößen erheblichen Einfluss auf die Außenwirkung der jeweiligen Organisation hat.³⁵

4.4.2.4. Aufbereitung und Verbreitung der Ergebnisse

Da die Außendarstellung wesentliche Zielsetzung des Performance Measurements der DOTs in den USA ist, spielt die Aufbereitung und Verbreitung der Ergebnisse als Performance Reports eine grundlegende Rolle. Die Zielgruppen sind somit nicht Fachleute, sondern Politiker sowie die Gesellschaft. Auf diese Herausforderung wird unterschiedlich reagiert, die Ergebnisse reichen von einfachen, jährlichen Berichten über umfangreiche Quartalsberichte bis zu Echtzeitdarstellungen im Internet.

35 Aussage im Experteninterview mit Mark Hallenbeck, Director, Washington State Transportation Center (TRAC), am 28.05.2008

Ein sehr umfassendes Berichtswesen wird vom WSDOT als Konsequenz aus der „Informations-asymmetrie“ (s. Abschnitt 4.4.2.1) betrieben. Hierfür wurde ein Konzept entwickelt, der als

„Performance Journalism“ bezeichnet wird (BREMMER/BRYAN, 2008a). Als Prinzipien für den

„Performance Journalism“ werden

“Good stories combined with good graphics Good writing

Good data Good graphics

Good format/presentation Quality control

Good timing“

genannt. Diese Prinzipien werden als „The Gray Notebook“ umgesetzt. Diese über hundertseitigen Berichte werden vierteljährlich veröffentlicht, wobei manche Themenfelder nur im jährlichen Turnus aufgenommen werden. Ergänzend wird parallel ein „Gray Notebook Lite“ herausgegeben, in dem ausgewählte Inhalte der Vollversion kompakt zusammen gefasst werden.³⁶ Der Bericht wird in einer Auflage von 5.000 Exemplaren gedruckt und an verschiedenste Stellen aus Politik, Forschung und Praxis verschickt. Ergänzend besteht ein umfangreicher Verteiler für den elektronischen Versand.

Eine sehr anschauliche Darstellungsform, die vom WSDOT kaum verwendet wird, aber in anderen DOTs verbreitet sind, sind die sogenannten „Dashboards“. Grundprinzip der Dashboards ist die schnell aufnehmbare Darstellung der Ergebnisse in einem Grün-Gelb-Rot-Schema, das in verschiedenen Formen dargestellt wird. Einen Maßstab setzt in diesem Bereich das Virginia Department of Transportation (VDOT), das ein Dashboard für verschiedene Themengebiete online bereitstellt und laufend aktualisiert (BREMMER et al., 2005). In Bild 17 ist das Dashboard des VDOT darstellt. Zu jedem Themengebiet können online detailliertere aktuelle Informationen abgerufen werden.

Grundsätzlich ist den Performance Measurement-Ansätzen der DOTs gemeinsam, dass die allgemeine Verfügbarkeit der wesentlichen Ergebnisse durch Veröffentlichung im Internet sicher gestellt wird.

36 Das Gray Notebook und das Gray Notebook Lite werden auf der Website des WSDOT bereit gestellt (http://www.wsdot.wa.gov/accountability/graynotebook/default.htm).

Bild 17: Dashboards des VDOT (VDOT, 2009)

4.4.3 Performance Measurement in Japan³⁷