Deutsch, 8. Schulstufe
Bundesergebnisbericht
Herausgegeben von Simone Breit,
Michael Bruneforth &
Claudia Schreiner
Deutsch, 8. Schulstufe
Bundesergebnisbericht
Herausgegeben von Simone Breit,
Michael Bruneforth &
Claudia Schreiner
Für den Inhalt verantwortlich: BIFIE – Department Bildungsstandards & Internationale Assessments Kontakt: 0662/620088-3000; E-Mail: office.bista@bifie.at
www.bifie.at
Standardüberprüfung 2016. Deutsch, 8. Schulstufe.
Bundesergebnisbericht.
Breit, S., Bruneforth, M. & Schreiner, C. (Hrsg.).
Salzburg, 2017.
Einbandgestaltung, Layout & Satz: Hannes Kaschnig-Löbel Lektorat: Martin Schreiner
Die Überprüfung und Rückmeldung der Bildungsstandards ist rechtlich verpflichtend verankert und zählt zu den gesetzlichen Kernaufgaben des Bundesinstituts BIFIE (BIFIE-Gesetz 2008).
Bundesministerium für Bildung Minoritenplatz 5/1014 Wien
7 Danksagung 9 Einleitung
11 1 Hintergrund und Ziele der Bildungsstandards und ihrer Überprüfung 12 1.1 Die Bildungsstandards in Österreich
13 1.2 Die Überprüfung der Bildungsstandards
19 2 Die Standardüberprüfung in Deutsch auf der 8. Schulstufe 19 2.1 Das Kompetenzmodell in Deutsch für die Sekundarstufe 1 22 2.2 Item- und Testkonstruktion
23 2.3 Zielpopulation und Anzahl getesteter Schüler/innen 24 2.4 Testadministration und Testablauf
27 2.5 Die Aufbereitung der Daten
30 2.6 Rückmeldungen und Ergebnisberichte
32 3 Kontextfaktoren sowie motivationale, volitionale und soziale Aspekte schulischen Lernens 32 3.1 Demografische und sozioökonomische Zusammensetzung der Schülerschaft
36 3.2 Wohlbefinden der Schüler/innen
36 3.3 Motivationale Merkmale und Anstrengungsbereitschaft 38 3.4 Schulen nach sozialer Zusammensetzung der Schülerschaft 41 4 Lesekompetenz
42 4.1 Verteilung der Schüler/innen auf die Kompetenzstufen in Lesen 43 4.2 Lesen und Kontextmerkmale
53 4.3 Lesekompetenz in Punkten im Vergleich zur Baseline 2009 55 4.4 Lesekompetenz an den Schulen der Sekundarstufe 1 60 4.5 Lesekompetenz in den Bundesländern
64 5 Kompetenz in Schreiben
65 5.1 Kompetenzstufenverteilung in den Dimensionen des Schreibens
70 5.2 Kombination der Kompetenzstufenverteilungen in den Dimensionen des Schreibens 72 5.3 Kompetenz in Schreiben in Punkten
73 5.4 Schreiben und Kontextmerkmale
77 5.5 Kompetenz in Schreiben an den Schulen 79 5.6 Kompetenz in Schreiben in den Bundesländern
85 6.2 Sprachbewusstsein und Kontextmerkmale
87 6.3 Kompetenz in Sprachbewusstsein in Punkten im Vergleich zur Baseline 2009 88 6.4 Kompetenz in Sprachbewusstsein in den Bundesländern
92 6.5 Kompetenz in Rechtschreiben 99 7 Kompetenz in Zuhören
100 7.1 Verteilung der Schüler/innen auf die Kompetenzstufen in Zuhören 101 7.2 Zuhören und Kontextmerkmale
104 7.3 Kompetenz in Zuhören in Punkten
105 7.4 Kompetenz in Zuhören in den Bundesländern 109 8 Kompetenz in Sprechen
109 8.1 Informationen zur Stichprobe Sprechen
110 8.2 Verteilung der Schüler/innen auf die Kompetenzstufen in Sprechen 111 8.3 Sprechen und Kontextmerkmale
113 8.4 Kompetenz in Sprechen in Punkten
115 9 Überblick über die Kompetenzen im Fach Deutsch
115 9.1 Überblick über die Kompetenzstufenverteilungen im Fach Deutsch 118 9.2 Kombination der Kompetenzstufenverteilungen
120 9.3 Subgruppenvergleiche nach Geschlecht, Migrationshintergrund, Erstsprache und Bildung der Eltern
126 10 Exkurs: Der Umstieg zur Neuen Mittelschule 126 10.1 Der Umstellungsprozess
127 10.2 Schülerzusammensetzung in Hauptschulen und Neuen Mittelschulen
129 10.3 Kompetenzunterschiede zwischen Schülerinnen und Schülern aus HS und NMS unter Berücksichtigung der Schülerzusammensetzung
133 11 Zusammenfassung 144 12 Bibliografie
147 Anhang
14 Abbildung 1: Bildungsstandards – Überprüfungszyklus
16 Abbildung 2: Österreichisches Rahmenmodell zur Nutzung von Rückmeldungen aus Standard- überprüfungen für die Schulentwicklung
19 Abbildung 3: Kompetenzmodell für Deutsch in der Sekundarstufe 1 26 Abbildung 4: Ablauf der Standardüberprüfung
39 Abbildung 5: Anteil an Schülerinnen und Schülern in Schulen mit unterschiedlichem Index der sozialen
Benachteiligung
42 Abbildung 6: Verteilung auf die Kompetenzstufen in Lesen
43 Abbildung 7: Kompetenzstufenbeschreibung in Lesen auf der 8. Schulstufe
44 Abbildung 8: Verteilung auf die Kompetenzstufen in Lesen nach den Kontextmerkmalen
46 Abbildung 9: Exkurs: Verteilung der zukünftigen AHS- und APS-Schüler/innen auf die Lesekompetenz- stufen am Ende der 4. Schulstufe für Österreich insgesamt
47 Abbildung 10: Verteilung auf die Kompetenzstufen in Lesen nach den Kontextmerkmalen getrennt nach
Schulsparten
48 Abbildung 11: Verteilung auf die Kompetenzstufen in Lesen nach Migrationshintergrund sowie Geschlecht und Bildung der Eltern
50 Abbildung 12: Verteilung auf die Kompetenzstufen in Lesen nach Migrationshintergrund sowie Geschlecht und Bildung der Eltern getrennt nach Schulsparten
52 Abbildung 13: Lesen: Charakteristika der Schüler/innen unter Kompetenzstufe 1 bzw. auf Kompetenz- stufe 3 (Teil 1)
53 Abbildung 14: Lesen: Charakteristika der Schüler/innen unter Kompetenzstufe 1 bzw. auf Kompetenz- stufe 3 (Teil 2)
55 Abbildung 15: Kompetenz in Lesen in Punkten im Vergleich zur Baseline 2009
56 Abbildung 16: Darstellung der Schulen nach Anteil an Schülerinnen und Schülern, die die Bildungs- standards in Lesen erreichen oder übertreffen
57 Abbildung 17: Darstellung der Schulen nach Schulmittelwert in Lesen
59 Abbildung 18: Ergebnisse der Schulen nach Schulmittelwert in Lesen und Lage zum Erwartungsbereich 60 Abbildung 19: Lesen: Verteilung auf die Kompetenzstufen in den Bundesländern
62 Abbildung 20: Lesekompetenz in Punkten in den Bundesländern
63 Abbildung 21: Lesekompetenz in Punkten in den Bundesländern getrennt nach Schulsparten 65 Abbildung 22: Verteilung auf die Kompetenzstufen in den Dimensionen des Schreibens 67 Abbildung 23: Kompetenzstufenbeschreibung der Dimension Inhalt
68 Abbildung 24: Kompetenzstufenbeschreibung der Dimension Gliederung 69 Abbildung 25: Kompetenzstufenbeschreibung der Dimension Ausdruck 70 Abbildung 26: Kompetenzstufenbeschreibung der Dimension Sprachnormen
71 Abbildung 27: Kombination der Kompetenzstufenverteilungen in den Dimensionen des Schreibens 72 Abbildung 28: Kompetenz in Schreiben in Punkten
76 Abbildung 31: Kompetenz in Schreiben nach Kontextmerkmalen getrennt nach Schulsparten 77 Abbildung 32: Darstellung der Schulen nach Schulmittelwert in Schreiben
78 Abbildung 33: Ergebnisse der Schulen in Österreich nach Schulmittelwert in Schreiben und Lage zum
Erwartungsbereich
80 Abbildung 34: Kompetenz in Schreiben in Punkten in den Bundesländern
81 Abbildung 35: Kompetenz in Schreiben in Punkten in den Bundesländern getrennt nach Schulsparten 84 Abbildung 36: Verteilung auf die Kompetenzstufen in Sprachbewusstsein
84 Abbildung 37: Kompetenzstufenbeschreibung in Sprachbewusstsein
85 Abbildung 38: Verteilung auf die Kompetenzstufen in Sprachbewusstsein nach Kontextmerkmalen 86 Abbildung 39: Verteilung auf die Kompetenzstufen in Sprachbewusstsein nach Kontextmerkmalen
getrennt nach Schulsparten
88 Abbildung 40: Kompetenz in Sprachbewusstsein in Punkten im Vergleich zur Baseline 2009 89 Abbildung 41: Verteilung der Schüler/innen auf die Kompetenzstufen in Sprachbewusstsein in den
Bundesländern
90 Abbildung 42: Kompetenz in Sprachbewusstsein in Punkten in den Bundesländern
91 Abbildung 43: Kompetenz in Sprachbewusstsein in Punkten in den Bundesländern getrennt nach
Schulsparten
93 Abbildung 44: Rechtschreibkompetenz in Punkten
94 Abbildung 45: Kompetenz in Rechtschreiben nach Kontextmerkmalen
96 Abbildung 46: Kompetenz in Rechtschreiben nach Kontextmerkmalen getrennt nach Schulsparten 97 Abbildung 47: Rechtschreibkompetenz in Punkten in den Bundesländern
98 Abbildung 48: Rechtschreibkompetenz in Punkten in den Bundesländern getrennt nach Schulsparten 100 Abbildung 49: Verteilung auf die Kompetenzstufen in Zuhören
101 Abbildung 50: Kompetenzstufenbeschreibung in Zuhören
102 Abbildung 51: Verteilung auf die Kompetenzstufen in Zuhören nach Kontextmerkmalen
103 Abbildung 52: Verteilung auf die Kompetenzstufen in Zuhören nach Kontextmerkmalen getrennt nach
Schulsparten
104 Abbildung 53: Kompetenz in Zuhören in Punkten
105 Abbildung 54: Verteilung der Schüler/innen auf die Kompetenzstufen in Zuhören in den Bundesländern 106 Abbildung 55: Kompetenz in Zuhören in Punkten in den Bundesländern
107 Abbildung 56: Kompetenz in Zuhören in Punkten in den Bundesländern getrennt nach Schulsparten 110 Abbildung 57: Verteilung auf die Kompetenzstufen in Sprechen
111 Abbildung 58: Kompetenzstufenbeschreibung in Sprechen
112 Abbildung 59: Verteilung auf die Kompetenzstufen in Sprechen nach Kontextmerkmalen
113 Abbildung 60: Verteilung auf die Kompetenzstufen in Sprechen nach Kontextmerkmalen getrennt nach
Schulsparten
114 Abbildung 61: Kompetenz in Sprechen in Punkten
115 Abbildung 62: Zusammenschau der Bereiche: Verteilung auf die Kompetenzstufen
119 Abbildung 64: Zusammenschau der Kompetenzbereiche 120 Abbildung 65: Zusammenschau: Unterschiede nach Geschlecht
121 Abbildung 66: Zusammenschau: Unterschiede nach Migrationshintergrund und Sozialstatus 123 Abbildung 67: Zusammenschau: Unterschiede nach Erstsprache und Sozialstatus
125 Abbildung 68: Zusammenschau: Unterschiede nach Bildungsabschluss der Eltern 127 Abbildung 69: Stand des Umstellungsprozesses auf NMS in den Bundesländern 128 Abbildung 70: Anzahl Schulen und Schülerzusammensetzung nach NMS-Generation 130 Abbildung 71: Mathematikkompetenz abhängig vom Zeitpunkt des Umstiegs auf NMS 131 Abbildung 72: Lesekompetenz nach sozialer Benachteiligung in NMS und HS
132 Abbildung 73: Kompetenzen im Fach Deutsch nach Schulformen unter Berücksichtigung der
Schülerzusammensetzung
15 Tabelle 1: Kompetenzbereiche der Überprüfungen
20–21 Tabelle 2: Bildungsstandards im Fach Deutsch für die 8. Schulstufe 23 Tabelle 3: Anzahl der Testitems bei der Standardüberprüfung 2016
23 Tabelle 4: Ausgenommene Schüler/innen bei der Standardüberprüfung 2016 24 Tabelle 5: Teilnahmequoten bei der Standardüberprüfung 2016
25 Tabelle 6: Form der Testadministration bei der Standardüberprüfung 2016 27 Tabelle 7: Anteil der gültigen Schülerangaben
32 Tabelle 8: Anzahl der Schulen gesamt, APS und AHS sowie die entsprechende Schülerpopulation in den Bundesländern
33 Tabelle 9: Daten und Fakten zum Migrationshintergrund 35 Tabelle 10: Kontextfaktoren der Schüler/innen
36 Tabelle 11: Wohlbefinden der Schüler/innen
37 Tabelle 12: Motivationale Merkmale der Schüler/innen, Teil 1 (Deutsch gesamt) 37 Tabelle 13: Motivationale Merkmale der Schüler/innen, Teil 2 (Lesen)
38 Tabelle 14: Bemühen der Schüler/innen im Vergleich zu einer Schularbeit
109 Tabelle 15: Anzahl getesteter Schüler/innen in Deutsch und in der Stichprobe Sprechen 110 Tabelle 16: Repräsentativität der Stichprobe Sprechen anhand Lesen
Danksagung
Die Vorbereitung und Durchführung einer Standardüberprüfung sowie die Erstellung der Ergebnisberichte ist nur durch das engagierte Zusammenwirken vieler Personen möglich. Nachfolgend sind die Teams am Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens (BIFIE) aufgeführt, die an den Arbeiten zur Überprüfung der Bildungsstandards 2016 in Deutsch aktiv mitgewirkt haben. Die Herausgeber/
innen möchten an dieser Stelle allen für ihren wertvollen Beitrag herzlich danken.
Am Department Bildungsstandards & Internationale Assessments verantwortete das Team Fachdidaktik Deutsch, bis 2016 unter der Leitung von Helga Längauer-Hohengaßner und seitdem von Marcel Illetschko, die Itement- wicklungsprozesse und damit die Testinstrumente, die Schulungen für Assessorinnen und Assessoren sowie Raterinnen und Rater sowie die Bewertung offener Schülerantworten. Das Team Methoden & Statistik unter der Leitung von Ursula Itzlinger-Bruneforth zeichnete für die Stichprobenziehung, die methodische Begleitung der Itementwicklungsprozesse, die Testdesigns, die Analyse und Skalierung der Daten sowie für die Standard Set- ting Workshops verantwortlich. Den Kontakt zu allen Schulen, die Erstellung von Handbüchern für Testleiter/
innen sowie die Schulung der Testleiter-Trainer/innen und der Testleiter/innen lag im Verantwortungsbereich des Teams Erhebungsmanagement unter der Leitung von Katrin Pacher. Das Team Datenmanagement unter der Leitung von Martin Pointinger sorgte für die reibungslose Konfektionierung und Logistik des gedruckten Test- materials, die Rücklaufkontrolle und das Scannen der Fragebögen und Testhefte, die Verifizierung und Kodie- rung der Schülerantworten sowie die Aufbereitung der Rohdatenfiles. Unter der Leitung von Maria Neubacher verantwortete das Team Rückmeldung & Kontextbefragung die Kontextfragebögen für Schüler/innen, Eltern und Schulleiter/innen, die Konzeption und Erstellung der Ergebnisrückmeldungen und Berichte sowie die Schu- lung der Rückmeldemoderatorinnen und -moderatoren.
Wichtige Unterstützung erhielten die Teams durch das Zentrale Management & Services (ZMS) unter der Leitung von Andreas Kamenik.
Der Dank der Herausgeber/innen geht auch an die externen Partnerinnen und Partner, die die Überprüfung der Bildungsstandards 2016 mitermöglicht haben: Die wissenschaftlichen Kooperationspartner/innen haben we- sentlich am Überprüfungskonzept einzelner Kompetenzbereiche mitgewirkt bzw. durch ihre Referententätigkeit die erforderliche Anzahl an Raterinnen und Ratern sowie Assessorinnen und Assessoren geschult. Den Itement- wicklerinnen und -entwicklern ist eine praxisnahe Testentwicklung zu verdanken. Die Expertinnen und Experten, die Teil des Panels des Standard-Settings waren, erstellten die Kompetenzstufenbeschreibungen bzw. definier- ten die Schwellenwerte auf der Kompetenzskala. Die internen und externen Test leiter/innen und die Qualitäts- prüfer/innen haben für eine standardisierte Testdurchführung an den Schulen gesorgt. Die Assessorinnen und Assessoren haben an ausgewählten Schulen die Sprechüberprüfungen durchgeführt. Die Bewertung der Schü- lertexte haben die Rater/innen mittels Kriterienkatalogen vorgenommen, Coder/innen haben die Schülerantwor- ten auf offene Fragen beurteilt.
Außerdem gilt unser Dank den BIST-Bundeslandkoordinatorinnen und -koordinatoren an den Pädagogischen Hochschulen sowie unseren Ansprech partnerinnen und -partnern am BMB, insbesondere Augustin Kern und Renée Langer.
Großer Dank ergeht auch an alle an der Überprüfung beteiligten Jugendlichen, die sich am Testtag angestrengt und ihr Bestes gegeben haben, sowie an ihre Lehrer/innen und Schulleiter/innen, die im Vorfeld der Überprüfung mitgewirkt und an den Befragungen teilgenommen haben.
Einleitung
Zur innovativen Entwicklung der Schul- und Unterrichtskultur in Österreich war und ist die Einführung der Bil- dungsstandards und deren regelmäßige Überprüfung ein entscheidender Reformschritt, der die Kompetenz- orientierung zum Herzstück hat. Die Fokussierung der Schulentwicklung auf nachhaltigen Kompetenzaufbau ist ein richtungsweisender Beitrag dazu, allen Jugendlichen die bestmögliche Schulbildung zu ermöglichen. Durch Rückmeldung von Ergebnissen und Kontexten verfolgt die Überprüfung der Bildungsstandards in Österreich vorrangig das Ziel, eine Basis für standortbezogene Qualitätsentwicklung zu bieten. Die im deutschsprachigen Raum einzigartige flächendeckende Ergebnisrückmeldung an Einzelschulen ist eine tragende Säule für eine faktenorientierte, effektive und fortwährende Qualitätsarbeit an Österreichs Schulen. Schulleitungen und Lehrer- kollegien erhalten durch die Rückmeldungen Impulse, den Unterricht im Hinblick auf die nachhaltige Vermittlung der grundlegenden Kompetenzen weiterzuentwickeln und somit bestmögliche Lernerfahrungen und -ergebnisse für die Schüler/innen zu ermöglichen.
Die Berichterstattung zu den Bildungsstandards verfolgt neben dem Ziel der standortbezogenen Qualitätsent- wicklung auch wichtige systemische Ziele: das sogenannte Systemmonitoring dient als Grundlage für die Steue- rung des Schulwesens. Die Berichterstattung zu den fachlichen Kompetenzen der Schüler/innen erweitert und verbessert auf der Systemebene die Steuerungsinformationen für Politik und Verwaltung substanziell und er- möglicht der interessierten Öffentlichkeit einen Einblick in die Leistungsfähigkeit des Schulsystems. Die in die- sem und vorherigen Systemberichten dargestellten Analysen zur Überprüfung der Bildungsstandards bieten wichtige Erkenntnisse und Fakten zur Situation des österreichischen Schulsystems und helfen, Fortschritte und Problem lagen auf Systemebene zu beschreiben. Die Systembeobachtung anhand der Überprüfung der Bil- dungsstandards orientiert sich stärker als internationale Erhebungen (PISA, PIRLS, TIMSS) an den Zielen und der Praxis österreichischer Schulen und bildet somit einen wesentlichen Bestandteil für ein nationales System- monitoring. Zusammen mit den Baseline-Messungen der Jahre 2009 und 2010 erlauben die Daten der Stan- dardüberprüfung, die Ergebnisse des Schulwesens im Hinblick auf nationale Ziele in der zeitlichen Veränderung zu beobachten.
Der vorliegende Bundesergebnisbericht zur Standardüberprüfung Deutsch, 8. Schulstufe, schließt die Bericht- erstattung des 2012 begonnenen ersten Überprüfungszyklus ab. Mit den Ergebnissen aus der fünften Erhebung in der Serie der Standardüberprüfungen liegt nun, zusammen mit den vier vorherigen Bundesergebnisberichten, erstmals in Österreich ein vollständiges Bild zu fachlichen Kompetenzen der Schüler/innen in Deutsch, Englisch und Mathematik am Ende der Sekundarstufe 1 und in Deutsch und Mathematik am Ende der Volksschule vor.
Der vorliegende Bundesergebnisbericht beinhaltet die Ergebnisse aller Schüler/innen Österreichs, die 2016 an der Bildungsstandardüberprüfung in Deutsch auf der 8. Schulstufe teilgenommen haben. Kapitel 1 führt über- blicksartig in die Bildungsstandards und deren Überprüfung sowie ihren Beitrag zur Kompetenzorientierung und Qualitätsentwicklung ein. In Kapitel 2 sind konkrete Hintergrund- und Prozessinformationen zur Überprüfung des Jahres 2016 enthalten, beispielsweise über das zugrundeliegende Kompetenzmodell, über den Prozess der Item- und Testentwicklung, über die konkrete Testdurchführung selbst sowie die Datenaufbereitung und Aus- wertung der Kompetenzmessung. Kapitel 3 enthält Informationen über die Schüler/innen in Österreich. Zum einen werden die soziodemografische Zusammensetzung der Schülerschaft und ihre motivational-emotionalen Einstellungen in Bezug auf die Schule, die Klasse, das Fach Deutsch und das Lesen dargestellt, zum anderen werden die unterschiedlichen Rahmenbedingungen der Schulen in den Blick genommen. Die Kapitel 4 bis 8 geben einen detaillierten Einblick in die Kompetenzen der Schüler/innen insgesamt sowie getrennt nach Schul- sparten. Kapitel 4 widmet sich dem Kompetenzbereich Lesen, Kapitel 5 dem Kompetenzbereich Schreiben, Kapitel 6 dem Sprachbewusstsein und Kapitel 7 dem Zuhören. In Kapitel 8 werden die Kompetenzen in Sprechen berichtet. Die Kapitel sind dabei in der Regel so aufgebaut, dass in Unterkapiteln Auswertungen nach
Kontextmerkmalen wie z. B. Geschlecht und Migrationshintergrund erfolgen. Weiters wird für alle Bereiche, die in der Baseline-Testung 2009 erfasst wurden, ein Vergleich mit der Standardüberprüfung 2016 durchgeführt. In den beiden Schwerpunktkapiteln zu Lesen und Schreiben wird der Fokus auch auf die Schulen gelegt. In Kapi- tel 9 erfolgt ein Überblick über die Kompetenzen im Fach Deutsch in der Zusammenschau der Kompetenz- bereiche. Der Exkurs in Kapitel 10 widmet sich der allgemeinbildenden Pflichtschule und dem Umstellungs- prozess von der Hauptschule zur Neuen Mittelschule. Zuletzt werden die wichtigsten Ergebnisse der statistischen Auswertungen in Kapitel 11 zusammengefasst und kommentiert.
Ergänzt wird die Berichterstattung um neun Landesergebnisberichte mit Auswertungen für die Bundesländer:
www.bifie.at/node/3633
Der Bundesergebnisbericht und die Landesergebnisberichte der Kompetenzüberprüfungen zu Mathematik und Englisch am Ende der 8. Schulstufe sowie zu Mathematik und Deutsch am Ende der 4. Schulstufe finden sich unter www.bifie.at/ergebnisberichte.
Musterberichte für Schulleiter/innen, Lehrer/innen und Schüler/innen:
www.bifie.at/musterrueckmeldung
1 Hintergrund und Ziele der Bildungs- standards und ihrer Überprüfung
Die Einführung der Bildungsstandards im österreichischen Schulsystem ist vom Leitgedanken getragen, dass alle Schülerinnen und Schüler grundlegende Kompetenzen nachhaltig erwerben. Die Befunde aus internationa- len Schülerleistungsstudien wie PISA (Haider & Reiter, 2004; Schreiner, 2007) haben belegt, dass jeweils etwa 20 % der österreichischen Schüler/innen nach neun Jahren Schulbesuch nicht in der Lage sind, Texte sinn- erfassend zu lesen, einfache Problemstellungen mit mathematischen Mitteln zu lösen oder einfache naturwis- senschaftliche Phänomene zu verstehen. Diese Jugendlichen laufen aufgrund dieser mangelnden Basis an Wissen und Können Gefahr, Schwierigkeiten bei der Teilhabe am gesellschaftlichen Leben als mündige Bürger/
innen und beim Einstieg in den Arbeitsmarkt zu haben. Vor dem Hintergrund dieser Befunde wurde in der Bil- dungspolitik nach neuen Steuerungsmodellen und Strategien für mehr Nachhaltigkeit und Ergebnisorientierung gesucht.
Die bislang dominierende Inputorientierung sollte durch die Leitidee der datengestützten Outputsteuerung ab- gelöst werden (vgl. Eder & Altrichter, 2009). Charakteristisch für diese Philosophie ist die Erfolgskontrolle durch externe Evaluationen und Leistungsmessungen, um Informationen über die Ergebnisse schulischer Arbeit zu erheben. Dies sollte vorrangig dem Monitoring und der Steuerung auf System- und Schulebene und damit der Rechenschaftslegung dienen.
Bei der Einführung von Bildungsstandards in Österreich wurde ab Ende der 2000er Jahre jedoch eine andere Herangehensweise gewählt, welche vorrangig Schul- und Unterrichtsentwicklung am Standort stimulieren soll.
Die Bildungsstandards setzen dem schulischen Lernen im Hinblick auf grundlegende Kompetenzen in zentralen Fächern klare Ziele und haben somit Orientierungscharakter, insbesondere für Schulen und Lehrer/innen. Die Überprüfung der Bildungsstandards zeigt Akteurinnen und Akteuren aller Ebenen, in welchem Ausmaß es ge- lingt, Kompetenzen der Schüler/innen nachhaltig abzusichern. Die Leitidee der Entwicklungsorientierung führt dazu, dass Bildungsstandards und deren Überprüfung zu einer professionellen, evidenzorientierten Reflexions- kultur führen und faktenbasiertes Handeln in der Qualitätsentwicklung von Schule und Unterricht nachhaltig verankert werden (vgl. Wiesner, Schreiner, Breit & Angerer, 2016). Die Ergebnisse von Bildungsprozessen sollen die Basis von Entscheidungen darstellen und als Grundlage pädagogischer Entwicklungsarbeit dienen (Posch, Rauch & Seidl, 2012, S. 41). Im Fokus steht seither der Unterricht als zentraler Ort des Kompetenzerwerbs (Specht, 2007, S. 197) sowie die Einzelschule als koordiniertes Zusammenwirken von Lehrkörper, Schulleitung und Schulaufsicht (Wiesner, Schreiner, Breit, Kemethofer, George & Angerer, 2016, S. 19).
Die Bildungsstandards und deren Überprüfung gewährleisten also Zielorientierung auf mehreren Ebenen: Auf der Ebene des Unterrichts dienen Bildungsstandards der nachhaltigen Ziel- und Ergebnisorientierung, indem sie bei der Planung und Gestaltung von Unterricht berücksichtigt werden (Orientierungsfunktion). Darüber hinaus ermöglichen Bildungsstandards, weil sie einen konkreten Vergleichsmaßstab darstellen, die bestmögliche Dia- gnostik als Grundlage für eine erfolgreiche individuelle Förderung (Förderfunktion). Außerdem dienen die Rück- meldungen aus Standardüberprüfungen am Standort einer kontinuierlichen kooperativen und evidenzorientier- ten Qualitätsentwicklung und -sicherung von Schule und Unterricht. Und auf Systemebene fungieren die Bildungsstandards als ein konzeptionelles Gerüst, auf dessen Basis die Überprüfung der fachlichen Kompeten- zen der Schüler/innen ein faktenbasiertes Systemmonitoring ermöglicht und somit Grundlagen für bildungspoli- tische Entscheidungen schafft (Evaluationsfunktion).
1.1 Die Bildungsstandards in Österreich
Bezugspunkt der österreichischen Bildungsstandards ist der von Franz E. Weinert entwickelte Kompetenz begriff (vgl. Weinert, 2001). Kompetenzen sind demnach „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motiva- tionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösung in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“ (Weinert, 2001, S. 27 f.). Kompetenzen sind das Ergebnis von Lern- prozessen und umfassen Aspekte des Wissens und der Wissensvernetzung (kognitive Fähigkeiten), des Kön- nens (variable lebensweltliche Anwendung) und des Wollens (sozial-kommunikative und motivationale Vorausset- zungen) sowie das Vermögen der Selbstregulation und Reflexion. Die österreichischen Bildungsstandards sind konkret formulierte Lernergebnisse, die auf grundlegenden fachbezogenen Kompetenzen basieren und wesent- liche inhaltliche Bereiche eines Gegenstands abdecken und somit für den weiteren Kompetenzaufbau entschei- dend sind (vgl. BGBl. II Nr. 1/2009). Die grundlegenden Kompetenzen schaffen die Basis für den Erwerb und die Anwendung spezifischer Fähigkeiten und Fertigkeiten und verkörpern damit ein weitgehend stabiles Wissen und Können, das zur Bewältigung wechselnder und variabler Herausforderungen befähigen soll.
Die Entwicklung der Bildungsstandards vollzog sich in einem mehrere Jahre dauernden Prozess (vgl. Lucyshyn, 2007). Im Sommer 2002 wurden von auf ministerieller Ebene eingerichteten Arbeitsgruppen (bestehend aus Vertreterinnen und Vertretern der Fachdidaktik sowie Praktikerinnen und Praktikern) Kompetenzmodelle für das jeweilige Schulfach entwickelt, Standards formuliert sowie Aufgabenbeispiele erstellt, die die jeweiligen Stan- dards abbilden sollten. Die Anwendbarkeit wurde in weiterer Folge von Expertinnen und Experten untersucht und die Bildungsstandards – wenn nötig – überarbeitet. Diese überarbeiteten Entwürfe wurden im Anschluss im Rahmen zweier Pilotphasen (im Schuljahr 2003/2004 und von 2004/2005 bis 2007) erprobt. Im Zuge dieser Pilotphase wurden insgesamt 140 Pilotschulen in allen Bundesländern in den Praxistest der Bildungsstandards einbezogen. Das Feedback der Pilotschulen bezüglich Brauchbarkeit der Aufgabenbeispiele und Praxistauglich- keit der Kompetenzmodelle diente den ministeriellen Arbeitsgruppen als Basis für erforderliche Adaptierungen.
Nach Abschluss der Pilottestungen wurde im August 2008 das Schulunterrichtsgesetz abgeändert (BGBl. I Nr.
117/2008). Eingeführt wurden Bildungsstandards im Schulwesen durch eine entsprechende Verordnung im Jänner 2009 (BGBl. II Nr. 1/2009), die die Funktionen der Bildungsstandards und der Standard überprüfungen beschreibt und in der Anlage die Kompetenzen festlegt (vgl. Schreiner & Breit, 2016, S. 1 ff.; Oelkers & Reusser, 2008, S. 474).
Bildungsstandards definieren in Österreich, über welche Kompetenzen die Schülerinnen und Schüler bis zum Ende der jeweiligen Schulstufe in der Regel verfügen sollen. Mit diesen Regelstandards wird eine größere Band- breite von Kompetenzen angesprochen, als dies durch Mindeststandards möglich wäre. Diese Setzung als Regel- anstelle von Mindeststandards muss bei der Betrachtung und Analyse von Überprüfungsergebnissen maßgeblich beachtet werden. Festgelegt wurden Bildungsstandards für Deutsch/Lesen/Schreiben und Mathe- matik am Ende der 4. Schulstufe sowie für Deutsch, Mathematik und Englisch am Ende der 8. Schulstufe.
Den Bildungsstandards liegt ein aus dem jeweiligen Lehrplan abgeleitetes fachspezifisches Kompetenzmodell1 zugrunde, das sich auf fachsystematische Gesichtspunkte stützt und den Unterrichtsgegenstand strukturiert.
Die Bildungsstandards beschreiben die Kompetenzen als konkret formulierte Lernergebnisse in Form von „Can- Do-Statements“ aus der Perspektive der Schüler/innen.
Im Zusammenhang mit den Bildungsstandards wurden in Österreich verschiedene Instrumente sehr sorgsam orchestriert: Die externe Überprüfung von Lernergebnissen der Schüler/innen ist an den Schnittstellen obligato- risch und die Auswertungen der Standardüberprüfungen haben so zu erfolgen, dass sie „für die langfristige systematische Qualitätsentwicklung in den Schulen nutzbringend verwertet werden können“ (BGBl. I Nr.
117/2008). Ergänzend dazu werden Lernstandserhebungen in Bezug auf die Bildungsstandards auf freiwilliger
1 Nähere Informationen zu den Kompetenzmodellen der verschiedenen Fächer und den zu überprüfenden Kompetenzbereichen finden Sie unter www.bifie.at/node/49 oder in den jeweiligen Praxishandbüchern zu den Bildungsstandards.
Basis angeboten: Da die Planung und Gestaltung der Unterrichtsarbeit den systematischen Aufbau der in den Bildungsstandards benannten Kompetenzen über alle Schulstufen hinweg im Auge behalten muss, bietet das Selbstevaluierungstool „Informelle Kompetenzmessung (IKM)“ den Lehrpersonen die Möglichkeit, Kompeten- zen einer Klasse bereits deutlich vor den Übergängen eigenverantwortlich zu erheben. Die pädagogische Diag- nostik dient als Grundlage für das weitere Unterrichtsgeschehen. Im Mittelpunkt der Bildungsstandards stehen also die Idee der Kompetenzorientierung und ein auf Wissen und Können hin orientiertes Bildungsverständnis.
1.2 Die Überprüfung der Bildungsstandards
Durch die regelmäßige Überprüfung der Bildungsstandards am Ende der Volksschule bzw. der Sekundarstufe 1 wird objektiv festgestellt, ob und in welchem Ausmaß Schüler/innen die gewünschten Kompetenzen erreichen und wie sich der Ist-Stand der Kompetenzen der Schüler/innen mit dem angestrebten Soll (Bildungsstandards) deckt. Die externe Überprüfung zeigt, inwieweit Schulen ihre Aufgabe der Vermittlung von grundlegenden Kom- petenzen erfüllen. Die zentral vorgegebenen Kompetenzmessungen verfolgen im Besonderen das Ziel, die Er- gebnisse für Schul- und Unterrichtsentwicklung nutzbar zu machen. Die Rückmeldung der Ergebnisse dient als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort sowie regional, landes- und bundesweit.
Bildungsstandards sind daher ein bedeutendes Instrument der Qualitätssicherung und ihre Überprüfung bildet eine fundierte Datengrundlage für die seit 2012 gesetzlich verankerte Initiative „Schulqualität Allgemeinbildung“
(SQA). Ziel von SQA ist es, durch pädagogische Qualitätsentwicklung und -sicherung bestmögliche Lern- erfahrungen und Lernergebnisse für Schüler/innen zu gewährleisten. Der hier vorliegende Bundesergebnis- bericht, der der bundesweiten Qualitätsentwicklung dient, darf somit nicht isoliert betrachtet werden, sondern im Zusammenhang mit den über 6000 Rückmeldungen an Schulen und Lehrerinnen und Lehrer (vgl. www.bifie.at/
musterrueckmeldung).
1.2.1 Der Überprüfungszyklus
Bei der Standardüberprüfung werden jedes Jahr die Kompetenzen eines anderen Fachs sowie wichtige Kon- textfaktoren erfasst. Im Mai 2012 wurde der erste Zyklus mit der Überprüfung der Kompetenzen in Mathematik auf der 8. Schulstufe begonnen. Im Jahr 2013 folgten die Überprüfungen in Mathematik auf der 4. Schulstufe und Englisch auf der 8. Schulstufe. Mit der Standardüberprüfung in Deutsch/Lesen/Schreiben im Frühjahr 2015 wurde der erste Zyklus auf der 4. Schulstufe abgeschlossen. Auf der 8. Schulstufe wurde mit der Überprüfung in Deutsch im Frühjahr 2016 auch auf dieser Schulstufe der erste Überprüfungszyklus erfolgreich beendet.
Die Rückmeldungen zu einer Standardüberprüfung sollen Schulen und Lehrpersonen helfen, die Prozesse ihrer (eigenen) Arbeit einzuschätzen und sie anregen, über Unterrichts- und Schulentwicklungsprozesse zu reflektie- ren, solche weiterzuentwickeln oder zu verbessern. Die Rückmeldungen aus dem ersten Überprüfungs zyklus bieten erstmals flächendeckend die Gelegenheit für professionelle Reflexionsarbeit und evidenzorientierte Schul- entwicklung. Die Rückmeldungen aus dem zweiten Überprüfungszyklus können in weiterer Folge Aufschluss darüber bieten, ob der initiierte Prozess des Qualitätsmanagements die Wirkung entfaltet. Dazu wird sich auf der Sekundarstufe 1 erstmals im Anschluss an die zweite Standardüberprüfung in Mathematik (2017) die Gelegen- heit bieten, in den Grundschulen ebenso in Mathematik ein Jahr später (siehe Abbildung 1).
Weiterführende Literatur:
Eine allgemeine Beschreibung der grundlegenden Methodik, die bei den Überprüfungen zum Einsatz kommt, bietet das Handbuch „Large-Scale Assessment mit R“ (Breit & Schreiner, 2016). Angefangen bei der Testkon- struktion bis zu Aspekten der Rückmeldung werden die eingesetzten methodischen Verfahren dargestellt und diskutiert. Mit zeitlicher Verzögerung zur Veröffentlichung der Ergebnisberichte wird zudem die Reihe der Tech- nischen Dokumentation zu den Überprüfungen der Bildungsstandards erweitert. Unter www.bifie.at/node/2782 finden sich jeweils detaillierte Angaben zur Durchführung der abgeschlossenen Erhebungen.
Das domänenorientierte Überprüfungsdesign hat zur Folge, dass in jedem Überprüfungsjahr rund 80.000 Schü- ler/innen auf der 8. Schulstufe an ca. 1400 Schulen der Sekundarstufe 1 bzw. rund 76.000 Schüler/innen auf der 4. Schulstufe an ca. 3000 Volksschulen an einer Überprüfung teilnehmen. Sie alle erhalten eine Rückmeldung über die erreichten Ergebnisse.
Eine wichtige Aufgabe der Überprüfung der Bildungsstandards ist es, Veränderungen der Schülerkompetenzen und somit der Zielerreichung über die Zeit zu beobachten. Dazu wurde auf der 8. Schulstufe im Frühjahr 2009 an einer repräsentativen Stichprobe von insgesamt 204 Schulen eine Ausgangsmessung, die sogenannte Base- line-Testung, durchgeführt. Die Ausgangsmessung für die 4. Schulstufe fand analog dazu im Jahr 2010 statt.
Diese Baseline-Testungen erhoben, über welche Kompetenzen die Schüler/innen verfügten, bevor Bildungs- standards im Unterricht implementiert wurden. Die Daten aus den Baseline-Testungen dienen als Vergleichs- basis und können somit Leistungsveränderungen seit dem Jahr 2009 bzw. 2010 aufzeigen.
1.2.2 Die zu überprüfenden Kompetenzbereiche
Während Lehrpläne neben einem breiten fachlichen Verständnis auch Selbst- und Sozialkompetenz anspre- chen, fokussieren die aus den Lehrplänen abgeleiteten Bildungsstandards darauf, über welche fachlichen Fä- higkeiten und Fertigkeiten Schülerinnen und Schüler längerfristig verfügen sollen. Den einzelnen Fächern/Domä- nen liegen dabei Kompetenzmodelle zugrunde, die das jeweilige Fach in verschiedenen Kompetenzbereichen strukturieren (vgl. Tabelle 1). Im Rahmen der Standardüberprüfung sind alle Kompetenzbereiche zu berücksich- tigen.
Mathematik 2012
8. Schulstufe
2013
2009, 2010 Mathematik
4. Schulstufe
2013 Englisch
8. Schulstufe
2015 Deutsch 4. Schulstufe
2016 Deutsch 8. Schulstufe
2017
2018
2019
2020 2021
2014 Ausgangs-
messungen
Abbildung 1: Bildungsstandards – Überprüfungszyklus
1.2.3 Systemmonitoring
Damit die Daten aus der Überprüfung der Bildungsstandards eine Basis zur Qualitätsentwicklung auf Bundes- und Landesebene bieten können, müssen die Ergebnisse entsprechend aufbereitet werden. Der vorliegende Bundesergebnisbericht sowie die neun Landesergebnisberichte dienen dem System-Monitoring und versu- chen, die Qualität des Bildungssystems durch aussagekräftige Indikatoren zu beschreiben. Die Ergebnisse sollen möglichst direkt in Steuerungsprozessen des Bildungssystems genutzt werden bzw. eine Basis für wis- senschaftliche Analysen zur Vermehrung steuerungsrelevanten Wissens bereitstellen (Eder & Altrichter, 2009).
Internationale Vergleichsstudien erlauben den Vergleich mit anderen Ländern und bieten so einen Blick von außen auf das Bildungssystem (vgl. www.bifie.at/pisa, www.bifie.at/timss und www.bifie.at/pirls). Die Bericht- erstattung zu den Bildungsstandards hingegen vergleicht die Leistung des Schulsystems direkt mit den selbst gesetzten Zielen und ermöglicht eine zuverlässige Messung der Zielerreichung.
4. Schulstufe 8. Schulstufe
Deutsch Deutsch/Lesen/Schreiben:
Hören, Sprechen und Miteinander-Reden
Lesen – Umgang mit Texten und Medien
Verfassen von Texten
Rechtschreiben
Einsicht in Sprache durch Sprachbetrachtung
Zuhören und Sprechen
Lesen
Schreiben
Sprachbewusstsein
Mathematik Inhaltliche mathematische Kompetenzen:
Arbeiten mit Zahlen
Arbeiten mit Operationen
Arbeiten mit Größen
Arbeiten mit Ebene und Raum Allgemeine mathematische Kompetenzen:
Modellieren
Operieren
Kommunizieren
Problemlösen
Inhaltsbereiche:
Zahlen und Maße
Variable, funktionale Abhängigkeiten
Geometrische Figuren und Körper
Statistische Darstellungen und Kenngrößen
Handlungsbereiche:
Darstellen, Modellbilden
Rechnen, Operieren
Interpretieren
Argumentieren, Begründen Komplexitätsbereiche:
Einsetzen von Grundkenntnissen und -fertigkeiten
Herstellen von Verbindungen
Einsetzen von Reflexionswissen, Reflektieren
Englisch
(sofern erste lebende Fremdsprache)
Hören
Lesen
An-Gesprächen-Teilnehmen
Zusammenhängend-Sprechen
Schreiben Tabelle 1: Kompetenzbereiche der Überprüfungen
1.2.4 Qualitätszyklus
Externe Überprüfungen von Schülerkompetenzen sind wichtig, um den Qualitätsentwicklungs- und Qualitäts- sicherungsprozess in einem Schulsystem zu initiieren. Das BIFIE bietet mit der Ergebnisrückmeldung aus den einzelnen Standardüberprüfungen (vgl. www.bifie.at/musterrueckmeldung) eine umfangreiche Datengrundlage, die wichtige Impulse für mögliche Veränderungsmaßnahmen liefern kann. Der Schwerpunkt liegt darauf, Schul- leiterinnen und Schulleitern sowie Lehrerinnen und Lehrern konkrete Rückmeldung über die erzielten Ergebnisse an ihren Schulen bzw. in ihrem Unterricht zu geben.
Zur Veranschaulichung von Wirkfaktoren, Gelingensbedingungen und Unterstützungsstrukturen für Rückmel- dungen, die Schul- und Unterrichtsentwicklung maßgeblich beeinflussen, wurde von Helmke (2004) ein grund- legendes Rahmenmodell entworfen. Für Österreich liegt seit einiger Zeit eine Weiterentwicklung davon vor (vgl. Abbildung 2).
Abbildung 2: Österreichisches Rahmenmodell zur Nutzung von Rückmeldungen aus Standardüberprüfungen für die Schul- entwicklung (Wiesner, Schreiner & Breit, 2015); adaptiert nach Helmke (2004)
In diesem weiterentwickelten Rahmenmodell wird die Kompetenzorientierung als konzeptionelle Grundlage der Bildungsstandards deutlich (vgl. Wiesner, Schreiner, Breit & Angerer, 2016). Die Kompetenzorientierung und die Bildungsstandards erfordern einen Muster- und Perspektivenwechsel, weil sie den Fokus des Unterrichts nicht nur auf den durchzunehmenden Stoff, sondern auch auf die Kompetenzen der Schüler/innen richten. Im Vorder-
Schulleitung & Lehrpersonal
Rezeption Reflexion Evaluation
Rückmelde-
moderator/innen Schulqualität Allgemeinbildung (SQA) –
„Zielvereinbarung und Entwicklungspläne“
Entwicklungsberatung in Schulen (EBIS)
Schulische Bedingungen
Lehreraus-, -fort- und -weiterbildung Rückmeldung der Ergebnisse der periodischen Überprüfung der Bildungsstandards
Kompetenzorientierung Orientierung & individuelle Förderung Diagnose- und Testaufgaben Kompetenzmodelle Aufgaben zum Lernen
transformationale pädagogische Führung
kompetenzorientierte Unterrichtsgestaltung Aufgaben zum Lernen & Förderung
entwickelnde & evaluative Grundhaltung
Feedback- & Kooperationskultur
gelebte Schulpartnerschaft gelebte Transparenz
Sinnorientierung und Wertschätzung
Wissenschaft(Entwicklung von Diagnose-, Förderverfahren & Tests zur vergleichenden Messung)
Aktion
Stärken und Schwächen erkennen
Beziehungen ordnen
Erklärungen und Ideen entwickeln
Beziehungen re- organisieren und (neu) verknüpfen
Entwicklungen arrangieren
Kooperationen und Projekte verbinden
Was wirkt?
Wie wirkt es?
Wirkt es nachhaltig?
Ist es sinnvoll?
erkennen verstehen gestalten hinterfragen
Schulaufsicht
grund stehen nunmehr Handlungskompetenzen der Lernenden in variablen Situationen anstelle von auswendig gelernten Inhalten oder dem Üben von Aufgaben ohne entsprechendes Verständnis.
Ein idealtypischer Prozess der Verarbeitung und Integration der Ergebnisrückmeldungen der Bildungsstan- dardüberprüfung läuft in vier zyklisch aufeinanderfolgenden Einzelschritten zur Schulentwicklung ab (vgl. Wies- ner, Schreiner, Breit, Kemethofer, George & Angerer, 2016):
Die Rezeption umfasst die sachlich korrekte Wahrnehmung und Interpretation der Ergebnisse, um Potenziale und Schwächen zu erkennen. Zur Unterstützung der Rezeption stehen den Schulen in Österreich ausgebildete
„Rückmeldemoderatorinnen und -moderatoren“ (RMM) als Begleitmaßnahme zur Verfügung. Die RMM unter- stützen die Schulen bei der sachlichen Analyse und Interpretation ihrer Ergebnisse aus den Standardüberprü- fungen sowie bei einer evidenz-, optimierungs- und entwicklungsorientierten Ergebnisaufarbeitung. Eine RMM/
ein RMM kann auf Wunsch der Schulleiterin/des Schulleiters über die Pädagogische Hochschule angefordert werden.
Die professionelle Reflexion ist die entscheidende Phase im gesamten Prozess. Es geht darum, die Ergebnisse fokussiert zu erfassen und zu verstehen. Durch eine gemeinsame Diskussion verschiedener Erklärungsansätze im Fachkollegium werden die Rückmeldeinformationen verdichtet und Gestaltungsspielräume eröffnet. Mögli- che Wirkfaktoren können sowohl auf der Ebene der Schule, innerhalb von Klassen und nicht zuletzt bei den Schülerinnen und Schülern selbst identifiziert werden. So sind auf Schulebene möglicherweise das Ausmaß des Unterrichts gemäß Stundentafel, Besonderheiten im Schulprofil und eventuelle Schwerpunktsetzungen relevant.
Häufige Lehrerwechsel, Klassenkompositionen oder die Anzahl an Repetentinnen und Repetenten könnten Einfluss auf Klassen haben. Hier sind aber auch die unterrichtlichen Schwerpunktsetzungen, die methodisch- didaktischen Herangehensweisen und das Handeln der Lehrperson relevant. Für die Schülerinnen und Schüler selbst tragen kognitive Dispositionen und motivationale Merkmale wesentlich zum erzielten Ergebnis bei. Die Frage, welche dieser Faktoren am Schulstandort relevant sind, kann nur mithilfe von schulinternem Wissen be- antwortet werden. Es können weitere Fakten in den Reflexionsprozess miteinbezogen werden und neben dem Nachdenken über die Unterrichtsgestaltung können auch neue Visionen und Ziele für die weitere Schulentwick- lung entworfen werden. Gelungene Reflexionen vermeiden auch kontraproduktive Fehlentwicklungen oder rei- nen Aktionismus.
Im Reflexionsprozess können Handlungsfelder identifiziert und Maßnahmen abgeleitet werden. Mit Aktion ist die Umsetzung von Maßnahmen und Prozessen der Qualitätsentwicklung und -sicherung gemeint. Zu solchen möglichst langfristig orientierten Aktionen zählen beispielsweise das Durchführen von gezielten Fort- und Wei- terbildungen, die Optimierung von Prozessen und Strukturen am Schulstandort, das Überdenken der schul- internen Feedback- und Kooperationskultur oder eine fachspezifische Neuausrichtung der Unterrichtsentwick- lung. Die Aktionen müssen gewissermaßen orchestriert werden; isolierte und einmalige „aktionistische“
Maßnahmen führen kaum zum Erfolg. Eine erneute Evaluation soll zeigen, ob Veränderungen tatsächlich zu einer Verbesserung oder zu Entwicklungen geführt haben.
In die Evaluation sollen alle drei vorherigen Phasen miteinbezogen werden. Durch die Evaluation soll nicht nur die Wirksamkeit von gesetzten Aktionen und von eingeführten bzw. veränderten Prozessen beurteilt werden, sie dient auch als Ausgangspunkt eines neuen Zyklus.
Die Reflexionsprozesse auf Basis der Ergebnisrückmeldung, die daraus abgeleiteten Aktionen und die Zielset- zungen müssen gemäß Verordnung über Bildungsstandards im Schulwesen dokumentiert und periodisch eva- luiert werden. Außerdem müssen im Rahmen der Initiative „Schulqualität Allgemeinbildung“ (SQA) die relevanten Aspekte in den Entwicklungsplan der Schule Eingang finden. Für einen standortbezogenen Qualitätssiche- rungs- und Schulentwicklungsprozess sind die rückgemeldeten Ergebnisse wie auch die vorliegenden Kontext- daten (Schulklima, Klassenklima, Selbstkonzept usw.) der Standardüberprüfung von maßgeblicher Bedeutung, um Kompetenzorientierung nachhaltig zu etablieren.
Beim Streben nach höherer Qualität an Österreichs Schulen ist es wichtig, Entwicklungsprozesse auf verschie- densten Ebenen zu forcieren. Die einzelne Schule und damit das Handeln der einzelnen Schulleiter/innen und Lehrer/innen steht dabei im Zentrum des Geschehens, denn Maßnahmen zur Verbesserung der Schul- und Unterrichtsqualität und die damit einhergehenden Entwicklungen und Verbesserungen der Schülerkompeten- zen werden am jeweiligen Schulstandort realisiert und müssen auch von dort gesteuert und getragen werden.
Lehrer/innen sind hier in ihrer Rolle als Unterrichtsgestalter/innen und Lernbegleiter/innen angesprochen, Schul- leiter/innen in ihrer Rolle als Change Agents, Führungspersonen, Personalentwickler/innen und Qualitätsmana- ger/innen (vgl. Schratz et al., 2016). Sie schaffen damit die Grundlage für eine evidenzbasierte Schul- und Un- terrichtsentwicklung, welche in der Verantwortung der Schulleiter/innen und Lehrer/innen liegt. Die Schulaufsicht übernimmt dabei die Steuerungsfunktion im Prozess der Nutzung der Ergebnisse der Standardüberprüfung (vgl.
Kemethofer, Wiesner, George, Schreiner & Breit, 2017).
Für die Rückmeldung der zusammengefassten Ergebnisse in den Bundes- und Landesergebnisberichten sind die vier Phasen im Rahmenmodell zur Nutzung von Rückmeldungen aus Standardüberprüfungen für die Schul- entwicklung auf das Bildungssystem übertragbar. Die Rezeption der Ergebnisse, die anschließende professio- nelle Reflexion, die daraus abgeleiteten Aktionen und erneute Evaluation können für Österreich insgesamt bzw.
für die einzelnen Bundesländer und Regionen durchgeführt werden. Die verschiedenen Akteure im Schulsystem und der Bildungspolitik können auf Grundlage der vorliegenden Daten auf Ebene des Bildungssystems Ent- scheidungen treffen, die im Idealfall zu Entwicklungen und Verbesserungen an den Schulen führen.
2 Die Standardüberprüfung in Deutsch auf der 8. Schulstufe
Dieses Kapitel führt in das Design der Standardüberprüfung in Deutsch auf der 8. Schulstufe ein und gibt einen Überblick über die Durchführung an den Schulen, die Methoden der Datenaufbereitung und die Ergebnisrückmel- dung. Abschließend werden wichtige Hinweise zur Interpretation der Ergebnisse der Kapitel 3 bis 10 gegeben.
2.1 Das Kompetenzmodell in Deutsch für die Sekundarstufe 1
Den in den Bildungsstandards festgelegten Kompetenzen liegt ein aus dem jeweiligen Lehrplan abgeleitetes fachspezifisches Kompetenzmodell zugrunde. Das Kompetenzmodell strukturiert die wesentlichen Kernberei- che eines Unterrichtsgegenstands. Der Unterrichtsgegenstand Deutsch soll die Schüler/innen in der Sekundar- stufe 1 von der 5. bis zur 8. Schulstufe dabei unterstützen,
ihre Kommunikations- und Handlungsfähigkeit mit und durch Sprache zu fördern,
Einblick in die Struktur und Funktion von Sprache zu bekommen,
den mündlichen und schriftlichen Sprachgebrauch zu festigen.
Die Kompetenzbereiche Zuhören & Sprechen, Lesen, Schreiben und Sprachbewusstsein decken jene Inhalte ab, die Schüler/innen benötigen, um persönliche, schulische und berufliche Herausforderungen bewältigen zu können. Das Kompetenzmodell für die Bildungsstandards Deutsch in der Sekundarstufe 1 zeigt das Verhältnis der sprachlichen Fertigkeiten zueinander und verdeutlicht auch, dass der Kompetenzbereich Sprachbewusst- sein mit allen anderen sprachlichen Fertigkeiten in Beziehung steht. Durch die Einbindung der „dynamischen Fähigkeiten“, die zur Bewältigung sozialer Anforderungen benötigt werden und sich in der Kommunikations- und Teamfähigkeit widerspiegeln, wird der Bezug zum Lehrplan unterstrichen.
Abbildung 3: Kompetenzmodell für Deutsch in der Sekundarstufe 1 Zuhören
Sprechen
Lesen Schreiben
Kontexte
dynamische Fähigkeiten
Medien
dynam ische F
ähig keiten
Texte
dynamische Fähigkeiten Verstehen, Kommunizieren,
Präsentieren
Planen, Verfassen, Überarbeiten
Erschließen, Nutzen, Reflektieren
Sprach- bewusstsein
Strukturen, Wortschatz, Regeln, Wirkung,
Ausdrucks- mittel
Die in Form von „Can-Do-Statements“ beschriebenen Kompetenzen gliedern sich entsprechend des Kompe- tenzmodells und sind in der Anlage zur Verordnung zu Bildungsstandards im Schulwesen enthalten. Tabelle 2 zeigt die Liste dieser 52 Deskriptoren für das Fach Deutsch, 8. Schulstufe:
Kompetenzbereich Zuhören und Sprechen
Kompetenzfeld Kompetenzen = Deskriptoren Altersgemäße mündliche
Texte im direkten persönlichen Kontakt oder über Medien vermittelt verstehen
1. Schüler/innen können das Hauptthema gesprochener Texte erkennen
2. Schüler/innen können die wesentlichen Informationen gesprochener Texte verstehen 3. Schüler/innen können die grundlegenden Informationen gesprochener Texte mündlich und
schriftlich wiedergeben
4. Schüler/innen können die Redeabsicht gesprochener Texte erkennen
5. Schüler/innen können stimmliche (Lautstärke, Betonung, Pause, Sprechtempo, Stimmführung) und körpersprachliche (Mimik, Gestik) Mittel der Kommunikation erkennen
Gespräche führen 6. Schüler/innen können grundlegende Gesprächsregeln einhalten
7. Schüler/innen können in Gesprächen auf Äußerungen inhaltlich und partnergerecht eingehen 8. Schüler/innen können in standardisierten Kommunikationssituationen (Bitte, Beschwerde,
Entschuldigung, Vorstellungsgespräch, Diskussion) zielorientiert sprechen
9. Schüler/innen können die Sprechhaltungen Erzählen, Informieren, Argumentieren und Appellieren einsetzen
Inhalte mündlich präsentieren 10. Schüler/innen können artikuliert sprechen und die Standardsprache benutzen
11. Schüler/innen können stimmliche (Lautstärke, Betonung, Pause, Sprechtempo, Stimmführung) und körpersprachliche (Mimik, Gestik) Mittel der Kommunikation in Gesprächen und Präsen- tationen angemessen anwenden
12. Schüler/innen können in freier Rede und gestützt auf Notizen Ergebnisse und Inhalte sach- und adressatengerecht vortragen
13. Schüler/innen können Medien zur Unterstützung für mündliche Präsentationen nutzen Kompetenzbereich Lesen
Kompetenzfeld Kompetenzen = Deskriptoren Ein allgemeines Verständnis
des Textes entwickeln
14. Schüler/innen können das Hauptthema eines Textes/eines Textabschnittes erkennen 15. Schüler/innen können die Gliederung eines Textes erkennen
16. Schüler/innen können Textsignale (Überschrift, Zwischenüberschriften, Fettdruck, Hervorhebungen, Absätze, Einrückungen, Gliederungszeichen) zum Textverständnis nutzen 17. Schüler/innen können grundlegende nicht-fiktionale Textsorten in unterschiedlicher medialer
Form erkennen und ihre Textfunktion (Information, Nachricht, Meinung, Anleitung, Vorschrift, Appell, Unterhaltung) erfassen
18. Schüler/innen können epische, lyrische und dramatische Texte unterscheiden und grund- legende epische Kleinformen (Märchen, Sage, Fabel, Kurzgeschichte) und ihre wesentlichen Merkmale erkennen
Explizite Informationen
ermitteln 19. Schüler/innen können zentrale und detaillierte Informationen in unterschiedlichen Texten und Textabschnitten finden
20. Schüler/innen können Informationen aus Grafiken, Tabellen, Schaubildern und Bild-Text- Kombinationen ermitteln
21. Schüler/innen können Wortbedeutungen mithilfe von (elektronischen) Nachschlagewerken klären
22. Schüler/innen können gezielt Informationen in unterschiedlichen Medien aufsuchen und beherrschen insbesondere die Internetrecherche und Benützung von Nachschlagewerken Eine textbezogene
Interpretation entwickeln 23. Schüler/innen können Informationen aus unterschiedlichen Texten und Medien vergleichen 24. Schüler/innen können durch das Herstellen von Bezügen zwischen Textstellen die Bedeutung
von Wörtern und Phrasen aus dem Kontext ableiten
25. Schüler/innen können zwischen Information, Unterhaltung und Wertung in Printtexten und anderen Medien unterscheiden
Den Inhalt des Textes
reflektieren 26. Schüler/innen können Intentionen und vermutliche Wirkungen von Texten und Medien- angeboten reflektieren
27. Schüler/innen können Eigenschaften, Verhaltensweisen und Handlungsmotive von Figuren in altersgemäßen literarischen Texten reflektieren
Kompetenzbereich Schreiben
Kompetenzfeld Kompetenzen = Deskriptoren
Texte planen 28. Schüler/innen können Methoden der Stoffsammlung (z. B. Mindmap, Cluster) anwenden 29. Schüler/innen können die Textstruktur in Hinblick auf Textsorte und Schreibhaltung festlegen 30. Schüler/innen können ihren sprachlichen Ausdruck an Schreibhaltung und Textsorte anpassen 31. Schüler/innen berücksichtigen Textadressaten und Schreibsituation
Texte verfassen 32. Schüler/innen können beim Schreiben eigener Texte die grundlegenden Mittel des Erzählens (Orientierung, Konfliktaufbau, Konfliktlösung) anwenden
33. Schüler/innen können Sachverhalte und Inhalte nachvollziehbar, logisch richtig und zusammen- hängend formulieren
34. Schüler/innen können altersgemäße und für ein Thema relevante Argumente und Gegen- argumente formulieren und sie sprachlich verknüpfen bzw. gegenüberstellen
35. Schüler/innen können formalisierte lineare Texte/nicht-lineare Texte verfassen (z. B. Lebenslauf, Bewerbungsschreiben, Formulare ausfüllen)
36. Schüler/innen können unter Einhaltung wesentlicher Kommunikationsregeln an einer alters- gemäßen medialen Kommunikation teilnehmen
(z. B. E-Mail, Leserbrief ...)
37. Schüler/innen können das Schreiben als Hilfsmittel für ihr eigenes Lernen einsetzen (Zusammenfassung, Stichwortzettel ...)
Texte überarbeiten 38. Schüler/innen können fremde und eigene Texte nach vorgegebenen Kriterien inhaltlich optimieren 39. Schüler/innen können fremde und eigene Texte nach vorgegebenen Kriterien sprachlich und
orthografisch optimieren
40. Schüler/innen können fremde und eigene Texte im Hinblick auf Erfordernisse der Textsorte optimieren
Kompetenzbereich Sprachbewusstsein
Kompetenzfeld Kompetenzen = Deskriptoren Text- und Satzstrukturen
kennen und anwenden 41. Schüler/innen erkennen die sprachlichen Mittel für den Textzusammenhang (Binde-, Ersatz- und Verweiswörter) und ihre Funktion
42. Schüler/innen erkennen und variieren Satzbau und Satzbauelemente: Hauptsatz, Gliedsatz, Satzglied, Satzgliedteil
43. Schüler/innen können Sätze durch Satzzeichen strukturieren
44. Schüler/innen erkennen Verbformen und können sie funktional anwenden Wortarten und Wortstrukturen
kennen und anwenden 45. Schüler/innen können Wortarten und ihre wesentlichen Funktionen erkennen und benennen 46. Schüler/innen können Grundregeln der Wortbildung (Ableitung und Zusammensetzung)
anwenden Über einen differenzierten
Wortschatz verfügen und sprachliche Ausdrucksmittel situationsgerecht anwenden
47. Schüler/innen kennen Bedeutungsunterschiede von Wörtern: Wortfelder, Wortfamilien, Synonyme, Antonyme, Ober- und Unterbegriffe
48. Schüler/innen kennen die Bedeutung von grundlegenden idiomatischen Wendungen (insbesondere von verbalen Phrasen)
49. Schüler/innen können Sprachebenen unterscheiden (z. B. gesprochene und geschriebene Sprache, Dialekt, Umgangssprache, Standard sprache) und an die kommunikative Situation anpassen
Über Rechtschreib bewusstsein
verfügen 50. Schüler/innen beherrschen grundlegende Regeln der Dehnung, der Schärfung, des Stamm- prinzips, der Groß- und Kleinschreibung und können diese beim Schreiben anwenden 51. Schüler/innen beherrschen die Rechtschreibung des Gebrauchswortschatzes einschließlich
gängiger Fremdwörter
52. Schüler/innen können Arbeitshilfen zur Rechtschreibung (z. B. Wörterbuch) einsetzen Tabelle 2: Bildungsstandards im Fach Deutsch für die 8. Schulstufe
2.2 Item- und Testkonstruktion
Die Verantwortung für die Item- und Testentwicklung und die wissenschaftliche Qualität der Überprüfung trägt das Department Bildungsstandards & Internationale Assessments des Bundesinstituts BIFIE. Die fachlichen Entwicklungsarbeiten erfolgten in Kooperation mit Arbeitsgruppen an Pädagogischen Hochschulen und Univer- sitäten. Diese bestehen aus Fachdidaktikerinnen und Fachdidaktikern, die ihre Expertise einbringen, sowie Leh- rerinnen und Lehrern mit langjähriger Erfahrung.
Die Vorbereitungen zur Standardüberprüfung in Deutsch 2016 bauten auf den Vorarbeiten aus der Pilotphase (ab 2004) sowie der Ausgangsmessung des Jahres 2009 (vgl. Kap. 1) auf. Entwicklungsgruppen, bestehend aus Lehrerinnen und Lehrern, die vertraglich mit dem BIFIE zusammenarbeiten, entwickelten die Items (= Test- aufgaben) für die Standardüberprüfung. Die Testitems wurden auf Basis eines systematischen Plans zielgerich- tet entwickelt. So wurde sichergestellt, dass die Tests insgesamt weitgehend die durch die Deskriptoren der Bildungsstandards definierten Inhalte abdecken. Kooperationspartner/innen von Pädagogischen Hochschulen und Universitäten begleiteten und unterstützten mit ihrer fachlichen Expertise diesen Arbeitsprozess. Die entwi- ckelten Items und Tests durchliefen mehrere Begutachtungen und Bewertungen durch Fach expertinnen und -experten sowie Praktiker/innen. In einer Piloterhebung wurden die Items und Tests 2013 an mehreren tausend Schülerinnen und Schülern nochmals erprobt, um die am besten geeigneten Testinstrumente für die Standard- überprüfungen auswählen zu können. Die fachdidaktische Begleitung bei der Itementwicklung für die Standard- überprüfung in Deutsch auf der 8. Schulstufe übernahmen Herr Prof. Dr. Gerhard Habringer (PH Oberösterreich) für Schreiben und Zuhören, Herr Dipl.-Päd. Wolfgang Wurzinger (PH Oberösterreich) für Sprachbewusstsein, Frau Univ.-Prof. Dr. Karin Landerl (Karl-Franzens-Universität Graz) für Lesen und Rechtschreiben und Frau OStR. Mag. Jutta Kleedorfer sowie Herr Dipl.-Päd. Mag. Dr. Gerald Frenkenberger für Sprechen.
Zur Illustration finden Sie im Anhang mehrere Testitems zur Überprüfung der verschiedenen Kompetenzbereiche.
Weitere Items sind dem Dokument „freigegebene Items der D8-Überprüfung“ unter www.bifie.at/node/3858 zu entnehmen.
Die Aufgaben zur Kompetenzmessung weisen verschiedene Formate auf: Bei geschlossenen Formaten müssen die Schüler/innen aus vorgegebenen Antworten die richtige auswählen (Multiple-Choice), Aussagen als richtig oder falsch bewerten oder Antworten zuordnen. Bei (halb-)offenen Formaten müssen die Jugendlichen ihre Antwort frei formulieren.
Um eine möglichst breite Abdeckung der Kompetenzbereiche in Deutsch auf Schul- und Systemebene zu ge- währleisten, müssen pro Kompetenzbereich wesentlich mehr Items eingesetzt werden, als die einzelnen Schü- ler/innen in der Testzeit bearbeiten können. Daher wurden pro Kompetenzbereich mehrere Testformen einge- setzt. Dies erhöht die Aussagekraft der Ergebnisse und verhindert das Abschreiben. Die Vergleichbarkeit verschiedener Testformen wurde durch sogenannte Link-Items, also Aufgaben, die in mehreren Testformen an unterschiedlichen Positionen vorkommen, gewährleistet. Zudem haben alle Testformen etwa den gleichen Schwierigkeitsgrad. Die Zuteilung von Testformen zu Schülerinnen und Schülern erfolgte zufällig. Tabelle 3 zeigt für jeden Testteil die Anzahl der insgesamt eingesetzten unterschiedlichen Items, die Anzahl der verschiedenen Testformen und die Anzahl der durch jede einzelne Schülerin/jeden einzelnen Schüler zu bearbeitenden Items.
Im Kompetenzbereich Lesen wurden pro Schüler/in zwei Testteile eingesetzt (vgl. Kap. 2.4), diese werden in der Tabelle getrennt angeführt. Im Kompetenzbereich Sprachbewusstsein werden die Items zur Teilkompetenz Rechtschreiben (Deskriptoren 50 und 51, vgl. Tabelle 2) getrennt aufgeführt, da die Ergebnisse für diesen Teil- bereich getrennt ausgewiesen werden (vgl. Kap. 6.5). In der Darstellung fehlen die produktiven Fähigkeiten Schreiben und Sprechen, für die keine Items eingesetzt werden, sondern Schreibaufträge bzw. Sprechanlässe die Basis der Überprüfung bilden.
2.3 Zielpopulation und Anzahl getesteter Schüler/innen
Im April 2016 wurden in Österreich flächendeckend die Kompetenzen aller Schüler/innen auf der 8. Schulstufe in Deutsch überprüft. Die Teilnahme war für alle Schülerinnen und Schüler der 8. Schulstufe an allen öffentlichen sowie privaten Schulen mit gesetzlich geregelten Schulartbezeichnungen (Volksschuloberstufe, Hauptschule, Neue Mittelschule, allgemeinbildende höhere Schule) und auf Dauer verliehenem Öffentlichkeitsrecht gesetzlich verpflichtend.
Von der Überprüfung ausgenommen waren alle außerordentlichen Schüler/innen sowie Schüler/innen mit son- derpädagogischem Förderbedarf (SPF), die in Deutsch nach dem Lehrplan der Sonderschule oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden. Schüler/innen mit Körper- oder Sinnesbehinderung nahmen dann nicht an der Überprüfung teil, wenn sie selbst mit allenfalls im Unterricht zur Verfügung stehenden Unterrichts- oder Hilfsmitteln unter den standardisierten Testbedingungen die gestellten Aufgaben aller Voraus- sicht nach nicht hätten lösen können.2 Detaillierte Informationen zu den Teilnahmekriterien können der Verord- nung über Bildungsstandards im Schulwesen entnommen werden.
Im Falle eines Schulwechsels innerhalb Österreichs konnten die Schüler/innen in den meisten Fällen an der neuen Schule berücksichtigt werden. Alle Schüler/innen, die kurzfristig vor dem Testtermin an eine Schule ge- kommen sind, konnten in der Regel mit einem Ersatztestheft überprüft werden. Tabelle 4 zeigt eine Übersicht über die Zielpopulation und die Anzahl der von der Standardüberprüfung ausgenommenen Schüler/innen der Zielschulen gesamt sowie getrennt nach Schulsparten (APS – allgemeinbildende Pflichtschulen und AHS – all- gemeinbildende höhere Schulen). Die Zielpopulation der Standardüberprüfung Deutsch 8 umfasste 76.810 Schüler/innen, von denen etwa 51.000 eine APS und etwa 26.000 Schüler/innen eine AHS besuchten.
Tabelle 4: Ausgenommene Schüler/innen bei der Standardüberprüfung 2016
2 Bei der Interpretation der Ergebnisse muss daher berücksichtigt werden, dass sich alle Aussagen auf die gesetzlich definierte Zielgruppe der Bildungsstandardüberprüfung beziehen, welche Sonderschulen und ausgenommene Schüler/innen nicht einschließt.
Tabelle 3: Anzahl der Testitems bei der Standardüberprüfung 2016 Anzahl der insgesamt
eingesetzten Items Anzahl eingesetzter
Lese-/Hörtexte Anzahl der Items
pro Schüler/in Anzahl der verwende-
ten Testformen Kompetenzbereich
Lesen (Testteil 1) Lesen (Testteil 2) Sprachbewusstsein Rechtschreiben Zuhören
128 20 – – 38
144 123 169 20
88
30 30 30 20
18
35–37 10 24 21 17–20 (mit je 2 Versionen)
gemeldete Schüler/innen Summe Ausnahmen Ausnahmen in Prozent
Schulsparte
vom Test ausgenommen aufgrund von ...
ausgenommene Schüler/innen nicht getestet aufgrund
von ...
Körper- oder Sinnes- behinderung Schulwechsel, Schulabbruch zu testende Schüler/innen (Schülerpopulation)
APS AHS Gesamt
Status als außerordentl. Schüler/in Lehrplan Deutsch: ASO oder niedrigere Schulstufe 54.855
26.481 81.336
128 15 143
1466 142 1608
2132 6 2138
3726 163 3889
6,8 % 0,6 % 4,8 %
404 233 637
50.725 26.085 76.810
