Grundlage: Befragung der schweizerischen Parlamentsmitglieder

Die quantitative Analyse stützt sich massgeblich auf die Befragung «Parlamente und Evaluationen», die Mitte 2014 in sämtlichen Kantonsparlamenten und in der Bundes-versammlung stattfand. Die nächsten Abschnitte präsentieren zuerst kurz den Ablauf und Inhalt der Befragung. Danach folgt eine Übersicht über die Stichprobe der quantitativen Analyse und eine Diskussion der Aussagekraft dieser Daten. Zusätzliche, vertiefte Infor-mationen über die vorliegende Datengrundlage liefert der Methodenbericht zur Befra-gung (Bundi et al. 2014).

4.1.1 Ablauf und Inhalte der Befragung Parlamente und Evaluationen

Die Online-Befragung richtete sich an sämtliche Parlamentsmitglieder des Bundes sowie der Kantone. Verfügbar war sie in Deutsch, Französisch und Italienisch. Für jedes Parla-ment wurde eine eigene Version der Befragung erstellt. Dies ermöglichte, Sprachversio-nen und spezifische Begriffe in den Parlamenten zu berücksichtigen sowie eiSprachversio-nen geeigne-ten Zeitpunkt für die Befragung zu wählen (Bundi et al. 2014, 3).

Um den Parlamentsmitgliedern einen Orientierungsrahmen zu bieten, wurde vor Beginn der Befragung «Evaluation» wie folgt definiert:

Als Evaluationen werden in diesem Zusammenhang Studien, Berichte oder andere Dokumente verstanden, welche eine staatliche Massnahme mit einem systematischen und transparenten Vorgehen bezüglich ihrer Wirksamkeit, Wirtschaftlichkeit oder Zweckmässigkeit beurteilen. (Bundi et al. 2014, 2)

Die Befragung begann mit Fragen zum Umgang der Parlamentsmitglieder mit Evaluati-onen. Danach folgten Fragen zur generellen parlamentarischen Tätigkeit, die beispiels-weise den Arbeitsaufwand, die Erfahrung in politischen Ämtern oder die Mitgliedschaft in Kommissionen betreffen. Der letzte Teil beinhaltete Fragen zu demographischen und sozialstrukturellen Merkmalen. Der Original-Fragebogen in allen Sprachen befindet sich im Methodenbericht (Bundi et al. 2014).

4.1.2 Beteiligung, Stichprobe und Aussagekraft der Daten

Tabelle 2 listet Informationen zu Grundgesamtheit, Stichprobe und Rücklauf für die Befragung und die quantitative Analyse auf. Sämtliche damals aktiven 2841 Parlaments-mitglieder des Bundes und der Kantone wurden gebeten, sich an der Befragung zu betei-ligen. Insgesamt folgten 1570 Parlamentsmitglieder dieser Bitte, was einer Rücklaufquote von 55.3 Prozent entspricht, wobei die Beteiligung zwischen den Parlamenten stark vari-iert (Eberli et al. 2014, 2). Die Stichprobe für die quantitative Analyse der vorliegenden Untersuchung beschränkt sich aber auf 1191 der 1570 befragten Parlamentsmitglieder.

Im Folgenden werden nur die fünf grössten Parteien CVP, FDP, die Grünen, SP und SVP betrachtet. Der Fokus auf die fünf grössten Parteien ist theoretisch sinnvoll, da die kleineren Parteien nur bedingt gruppiert werden können und nicht in allen Parlamen-ten vertreParlamen-ten sind.³⁵ Die Beschränkung auf die fünf grössten Parteien führt aber dazu, dass Parlamentsmitglieder des Kantonsrats Appenzell-Innerrhoden nicht in die vorlie-gende Analyse einbezogen werden, da das Geschäftsreglement dieses Parlaments keine Fraktionen vorsieht, sodass die Parteizugehörigkeit teilweise unbekannt ist.³⁶ Eine wei-tere Beschränkung der Stichprobe resultiert aus fehlenden Angaben weniger Parlaments-mitglieder zu den Erklärungsfaktoren der Erfahrung, der Professionalisierung oder dem Bildungsgrad. Daher macht die Stichprobe letztlich 50.4 Prozent aller angeschriebenen Parlamentsmitglieder der fünf grössten Parteien aus.

Insgesamt kann die vorliegende Rücklaufquote von über 50 Prozent bei einer Befra-gung von Parlamentsmitgliedern je nach Vergleichsbasis als zufriedenstellend bis hoch betrachtet werden. Im Vergleich mit den relativ häufigen Befragungen der Bundesver-sammlung ist eine Rücklaufquote von über 50 Prozent eher tief. Ältere Befragungen erreichten sehr hohe Quoten von 84 Prozent (Riklin und Möckli 1991, 147) oder eine fast ausnahmslose Teilnahme mit 96 Prozent (Kerr 1981, 23). Auch neuere Befragungen

35 Bei kleinen Parteien besteht zudem statistisch gesehen das Problem, dass die Varianz der Antworten auf-grund der geringen Fallzahl insgesamt oder pro Parlament zu klein wäre. Damit wäre das statistische Modell vordeterminiert (vgl. Long und Freese 2014, 320).

36 Geschäftsreglement des Grossen Rates vom 21. November 1994, GS AI 171.210.

75

4 Analyse der individuellen Erklärungsfaktoren der Evaluationsnutzung

Tabelle 2: Beteiligung an der Befragung nach Parlament Anzahl

Sitze

Befragung Quantitative Analyse

Grund-gesamtheit

Stich probe Rücklauf Grund-gesamtheit

Stich probe Rücklauf

Aargau 140 140 96 68.6% 118 76 64.4%

Appenzell-Innerrhoden 49 49 38 77.6% 0 0 –

Appenzell-Ausserrhoden 65 64 42 65.6% 41 22 53.7%

Bern 160 160 84 52.5% 110 58 52.7%

Basel-Landschaft 90 90 48 53.3% 78 36 46.2%

Basel-Stadt 100 100 52 52.0% 77 39 50.6%

Freiburg 110 110 55 50.0% 103 50 48.5%

Genf 100 100 56 56.0% 71 43 60.6%

Glarus 60 60 35 58.3% 50 25 50.0%

Graubünden 120 115 55 47.8% 85 35 41.2%

Jura 60 57 30 52.6% 46 21 45.7%

Luzern 120 120 67 55.8% 114 60 52.6%

Neuenburg 115 114 66 57.9% 100 53 53.0%

Nidwalden 60 60 36 60.0% 60 32 53.3%

Obwalden 55 54 28 51.9% 46 22 47.8%

St. Gallen 120 120 87 72.5% 111 78 70.3%

Schaffhausen 60 60 37 61.7% 48 24 50.0%

Solothurn 100 100 62 62.0% 93 55 59.1%

Schwyz 100 100 43 43.0% 98 40 40.8%

Thurgau 130 130 77 59.2% 110 58 52.7%

Tessin 90 90 47 52.2% 67 35 52.2%

Uri 64 64 38 59.4% 62 33 53.2%

Waadt 150 150 83 55.3% 136 65 47.8%

Wallis 130 130 51 39.2% 116 35 30.2%

Zug 80 80 39 48.8% 71 34 47.9%

Zürich 180 179 106 59.2% 138 75 54.3%

Total Kantonsparlamente 2608 2596 1458 56.2% 2224 1104 49.6%

Bundesversammlung 246 245 112 45.7% 213 87 40.8%

Total 2854 2841 1570 55.3% 2362 1191 50.4%

Quelle: Tabelle teilweise entnommen aus Eberli et al. (2014). Quantitative Analyse: Befragte der Parteien CVP, FDP, Grüne, SP und SVP sowie mit Angaben zu Erfahrung, Professionalisierung und Bildungsgrad. Aufgrund der Beschränkung auf die fünf Parteien keine Berück-sichtigung von Appenzell-Innerrhoden.

weisen immer noch hohe Quoten von rund 65 Prozent aus (Bütikofer 2014, 45; Krüger et al. 2001, 17).³⁷ Die Befragungen fokussierten aber auf die Bundesebene, setzten daher teilweise verschiedene Mittel zur Erinnerung ein oder wurden zum Teil im Auftrag des Parlaments durchgeführt, was die Rücklaufquote begünstigt haben dürfte. Die Bereit-schaft der Bundesversammlung zur Teilnahme an Befragungen scheint aber zurückzu-gehen, zumal die Studie von Sciarini et al. (2017, 51) im Auftrag der Parlamentsdienste einen vergleichsweise tiefen Rücklauf von 52 Prozent erreichte. Die Rücklaufquoten von Befragungen der Bundesversammlung liegen zudem teilweise auch unter 50 Prozent (13.4 Prozent bei Brun [2003], 35.8 Prozent bei Milic et al. [2016, 2]).

Verglichen mit anderen Befragungen auf kantonaler Ebene ist die vorliegende Rücklaufquote hoch. Kürzlich waren die Kantonsparlamente Gegenstand von mehreren Befragungen, die sich aber meist auf ausgewählte Parlamente oder Parlamentsmitglie-der beschränkten. Diese Befragungen erreichten Rücklaufquoten von 51.4 Prozent (Feh Widmer 2015, 230), 39.5 Prozent (Strebel 2014, 129) oder 21.3 Prozent (Brun 2003, 69, 82). Milic et al. (2016, 2), deren Befragung zusätzlich zur Bundesversammlung sämtliche Kantonsparlamente umfasste, berichten über einen Rücklauf von 40.5 Prozent. Folglich sind die Rücklaufquoten auf Kantonsebene generell geringer als auf Bundesebene.

Im internationalen Vergleich kann die vorliegende Rücklaufquote ebenfalls als hoch bezeichnet werden, wobei die Rücklaufquoten klar variieren. Bei Befragungen der nati-onalen und teilweise subnatinati-onalen Parlamente aus 15 europäischen Ländern erzielen Deschouwer et al. (2014, 10) beispielsweise Rücklaufquoten zwischen 12.0 und 43.3 Prozent. Für Legislativen der US-Bundesstaaten stellen Maestas et al. (2003, 92) in ihrer Übersichtsarbeit dagegen deutlich höhere durchschnittliche Rücklaufquoten von 44 bis 47 Prozent fest. Ähnlich zu den Beobachtungen zur Bundesversammlung vermutet schliesslich Bailer (2014, 185) in ihrem internationalen Vergleich generell rückläufige Antwortquoten, da Online-Befragungen aufgrund ihrer Einfachheit zunehmen.

Die vorliegende Stichprobe ist sehr repräsentativ bezüglich der Sprachregion der Parlamentsmitglieder, in einem geringeren Mass trifft dies auf das Geschlecht und die Parteizugehörigkeit zu.³⁸ Der Vergleich zwischen angeschriebenen und in der Stichprobe eingeschlossenen Parlamentsmitgliedern zeigt, dass Angehörige der Grünen und beson-ders der SP deutlich häufiger an der Befragung teilnahmen, während sich Angehörige der SVP deutlich seltener beteiligten. Die CVP und die FDP sind zwar auch untervertreten, aber nur in sehr geringem Masse. Zudem beantworteten Frauen die Befragung häufiger als Männer. Der Duncan Index der Dissimilarität bestätigt diese Ungleichheiten der Ver-teilung in Stichprobe und Grundgesamtheit (vgl. Bailer 2014, 185; Duncan und Dun-can 1955). Dieser Index reicht von absoluter Ähnlichkeit (0) bis absolute Unähnlichkeit (100). Mit einem Duncan Index der Dissimilarität von 6.98 sind die fünf Parteien am wenigsten ähnlich verteilt. Dieser Wert ist aber im Vergleich mit anderen Befragungen relativ gering (vgl. Deschouwer et al. 2014, 10). In einem solchen Vergleich hingegen als

37 Weitere Befragungen: Riklin et al. (1977) oder Wiesli und Linder (2000).

38 Die Repräsentativität der gesamten Stichprobe der Befragung diskutieren Bundi et al. (2014, 6–8).

77

4 Analyse der individuellen Erklärungsfaktoren der Evaluationsnutzung

hoch einzustufen ist der Duncan Index der Dissimilarität von 5.27 für das Geschlecht.

Für die Sprachregion sind die Verteilungen fast identisch (Duncan Index von 0.44).

Zusätzliche Einschätzungen zur Aussagekraft der Befragung liefern Bundi et al.

(2016) in ihrer Analyse der Evaluationsnachfrage durch die Bundesversammlung. Sie untersuchen, inwiefern die Angaben, welche die Parlamentsmitglieder zur Nachfrage nach Evaluationen in der Befragung gemacht haben, mit den Angaben übereinstimmen, die Bundi et al. (2016, 5) aus einer Dokumentenanalyse der parlamentarischen Vorstösse gewonnen haben. Sie stellen fest, dass Parlamentsmitglieder, die sich an der Befragung beteiligten, nicht häufiger mittels eines parlamentarischen Vorstosses nach Evaluationen gefragt haben als jene Parlamentsmitglieder, die nicht an der Befragung teilnahmen. Folg-lich besteht keine systematische Selbstselektion in die Befragung und die Stichprobe ist in Bezug auf die Nachfrage von Evaluationen repräsentativ (Bundi et al. 2016, 7). Gleich-zeitig zeigt der Vergleich, dass das Antwortverhalten nicht mit der Dokumentenanalyse übereinstimmt. Zwar kommen Befragung und Dokumentenanalyse insgesamt auf eine ähnliche Quote an parlamentarischen Vorstössen, in denen eine Evaluation gefordert wurde. Allerdings überschätzten 41.3 Prozent der Parlamentsmitglieder die Anzahl ihrer parlamentarischen Vorstösse im Vergleich mit der Dokumentenanalyse, während sie 13.4 Prozent der Parlamentsmitglieder unterschätzten (Bundi et al. 2016, 7). Diese falsche Einschätzung ist mit der Einstellung gegenüber Evaluationen verbunden. Bundi et al.

(2016, 13) erklären sich den Zusammenhang zwischen Einstellung und Antwortver-halten sowohl mit sozialer Erwünschtheit als auch mit Erinnerungslücken. Einerseits dürften Parlamentsmitglieder, die gegenüber Evaluationen positiv eingestellt sind, sozial erwünschtes Antworten stärker spüren und daher ihre Nachfrage nach Evaluationen überschätzen. Anderseits dürfte eine negative Einstellung gegenüber Evaluationen eher zu Erinnerungslücken und damit zur Unterschätzung der Nachfrage nach Evaluationen beitragen. Dies bedeutet, dass der Rolle der Einstellung gegenüber Evaluationen sowie der sozialen Erwünschtheit auch in der folgenden Analyse besondere Aufmerksamkeit zukommen sollte. Dagegen kann analog zu den Ergebnissen zur Nachfrage nach Evalua-tion für die Nutzung erwartet werden, dass sich Parlamentsmitglieder, die EvaluaEvalua-tionen häufiger verwenden, nicht öfter an der Befragung beteiligten.

4.2 Beschreibung der Evaluationsnutzung und der individuellen Erklärungsfaktoren