Standardüberprüfung 2018 Mathematik, 4. Schulstufe
20 .18
M 4
Mathematik, 4. Schulstufe Bundesergebnisbericht
Bundesinstitut BIFIE (Hrsg.)
Für den Inhalt verantwortlich: BIFIE – Department Bildungsstandards & Internationale Assessments Kontakt: 0662/620088-3000; E-Mail: office.bista@bifie.at
www.bifie.at
Standardüberprüfung 2018. Mathematik, 4. Schulstufe.
Bundesergebnisbericht.
Bundesinstitut BIFIE (Hrsg.).
Salzburg, 2019.
Coverfoto: Africa Studio/fotolia.com Layout & Satz: Sandra Hechenberger Lektorat: Martin Schreiner
Die Überprüfung und Rückmeldung der Bildungsstandards ist rechtlich verpflichtend verankert und zählt zu den gesetzlichen Kernaufgaben des Bundesinstituts BIFIE (BIFIE-Gesetz 2008).
Bundesministerium für Bildung, Wissenschaft und Forschung Minoritenplatz 5, 1010 Wien
5 Danksagung 7 Einleitung
9 1 Hintergrund und Ziele der Bildungsstandards und ihrer Überprüfung 10 1.1 Die Bildungsstandards in Österreich
10 1.2 Komplementäre Aspekte der Bildungsstandards 11 1.3 Die Überprüfung der Bildungsstandards
16 2 Die Standardüberprüfung in Mathe matik auf der 4. Schulstufe 16 2.1 Das Kompetenzmodell in Mathematik auf der 4. Schulstufe 21 2.2 Item- und Testkonstruktion
21 2.3 Zielpopulation und Anzahl getesteter Schüler/innen 22 2.4 Testablauf und Testverfahren
23 2.5 Die Aufbereitung der Daten
25 2.6 Rückmeldungen und Ergebnisberichte
27 3 Charakterisierung der österreichischen Schülerschaft sowie motivationale und soziale Aspekte schulischen Lernens
27 3.1 Demografische und sozioökonomische Zusammensetzung der Schülerschaft 30 3.2 Schulen nach sozialer Zusammensetzung der Schüler/innen
31 3.3 Wohlbefinden der Schüler/innen
32 3.4 Motivationale Merkmale und Anstrengungsbereitschaft 35 4 Mathematikkompetenz
35 4.1 Verteilung der Schüler/innen auf die Kompetenzstufen in Mathematik 36 4.2 Mathematikkompetenz in Punkten
38 4.3 Mathematikkompetenz in Punkten in den Bundesländern
40 5 Zusammenhänge zwischen dem Mathematikergebnis und Kontextmerkmalen 40 5.1 Kompetenzstufenverteilung in Mathematik nach Kontextmerkmalen
44 5.2 Gegenüberstellung der Schülergruppen unter Kompetenzstufe 1 und auf Kompetenzstufe 3 in Mathematik
46 5.3 Kompetenzunterschiede in Mathematik nach Kontextmerkmalen 49 6 Mathematikkompetenz an den Volksschulen
49 6.1 Darstellung der Schulen nach dem Anteil an Schülerinnen und Schülern, der die Bildungsstandards erreicht oder übertrifft
50 6.2 Darstellung der Schulen nach Schulmittelwert in Mathematik
50 6.3 Darstellung der Schulen nach Schulmittelwert in Mathematik und Lage zum Erwartungsbereich 53 6.4 Lehreinstellungen und -haltungen
55 7 Mathematikkompetenz in Österreich im Vergleich zu 2013 55 7.1 Schülerzusammensetzung im Vergleich
56 7.2 Wohlbefinden und motivationale Merkmale im Vergleich 57 7.3 Kompetenzstufenverteilungen in Mathematik im Vergleich
Abbildungs- und Tabellenverzeichnis
11 Abbildung 1: Verortung der Zielsetzungen: Komplementäre Aspekte der Standardüberprüfung und der Informellen Kompetenzmessung (Quelle: Wiesner, Schreiner, Breit & Bruneforth, 2017) 13 Abbildung 2: Österreichisches Rahmenmodell zur Nutzung von Rückmeldungen aus Standardüber-
prüfungen für evidenzorientierte Schulentwicklung (Wiesner, Schreiner & Breit, 2015);
Weiterentwicklung des Helmke-Modells (2009)
15 Abbildung 3: Professionelle Reflexionsarbeit: Integratives Zyklusmodell für eine evidenzorientierte Schul- und Unterrichtsentwicklung (Wiesner, Schreiner, Breit & Kemethofer, 2017)
17 Abbildung 4: Allgemeine und inhaltliche Bereiche des Kompetenzmodells in Mathematik 18 Abbildung 5: Bildungsstandards Mathematik, 4. Schulstufe (Can-Do-Statements) 23 Abbildung 6: Testablauf
31 Abbildung 7: Anteil an Schülerinnen und Schülern in Schulen mit unterschiedlichem Index der sozialen
Benachteiligung
31 Abbildung 8: Wohlbefinden der Schüler/innen in Österreich
33 Abbildung 9: Motivationale Merkmale der Schüler/innen in Österreich 35 Abbildung 10: Verteilung auf die Kompetenzstufen in Mathematik
36 Abbildung 11: Kompetenzstufenbeschreibung in Mathematik auf der 4. Schulstufe
37 Abbildung 12: Kompetenz in Mathematik sowie den einzelnen allgemeinen und inhaltlichen mathematischen Kompetenzen in Punkten
38 Abbildung 13: Bundeslandspezifische Kompetenzstufenverteilung im Fach Mathematik 39 Abbildung 14: Bundeslandspezifische Kompetenzen in Punkten im Fach Mathematik 41 Abbildung 15: Kompetenzstufenverteilungen in den Subgruppen im Fach Mathematik
43 Abbildung 16: Kompetenzstufenverteilungen nach Migrationshintergrund sowie Geschlecht und Bildung der Eltern
44 Abbildung 17: Motivationale Merkmale nach erreichter Kompetenzstufe in Mathematik
45 Abbildung 18: Charakteristika der Schüler/innen unter Kompetenzstufe 1 bzw. auf Kompetenzstufe 3 47 Abbildung 19: Unterschiede zwischen Schülersubgruppen (unter Berücksichtigung des Sozialstatus) 48 Abbildung 20: Unterschiede nach Bildungsabschluss der Eltern
49 Abbildung 21: Darstellung der Schulen nach Anteil an Schülerinnen und Schülern, der die Bildungs- standards in Mathematik erreicht oder übertrifft
50 Abbildung 22: Darstellung der Schulen nach Schulmittelwert in Mathematik
52 Abbildung 23: Ergebnisse der Schulen in Österreich nach Schulmittelwert in Mathematik und Lage zum Erwartungsbereich
54 Abbildung 24: Lehreinstellungen und -haltungen: Gegenüberstellung von Schulleiter- und Lehrerangaben 57 Abbildung 25: Kompetenzstufenverteilungen im Fach Mathematik 2013 und 2018
58 Abbildung 26: Bundeslandspezifische Kompetenzstufenverteilungen im Fach Mathematik 2013 und 2018 58 7.4 Mathematikkompetenz in Punkten im Vergleich
61 7.5 Kompetenzstufenverteilungen in Mathematik nach Kontextmerkmalen im Vergleich 62 7.6 Mathematik in Punkten nach Kontextmerkmalen im Vergleich (MW-Differenzen) 64 8 Zusammenfassung der Ergebnisse
71 9 Bibliografie 74 Anhang
59 Abbildung 27: Kompetenzen in Punkten im Fach Mathematik 2013 und 2018
60 Abbildung 28: Allgemeine und inhaltliche mathematische Kompetenzen in Punkten 2013 und 2018 61 Abbildung 29: Bundeslandspezifische Kompetenzen in Punkten im Fach Mathematik 2013 und 2018 62 Abbildung 30: Kompetenzstufenverteilungen im Fach Mathematik nach Kontextmerkmalen 2013
und 2018
63 Abbildung 31: Kompetenzunterschiede in Punkten zwischen Subgruppen 2013 und 2018
21 Tabelle 1: Zielgruppe und ausgenommene Schüler/innen bei der Standardüberprüfung 2018 in Österreich 22 Tabelle 2: Teilnahmequote bei der Standardüberprüfung in Österreich
24 Tabelle 3: Anteil gültiger Fragebogenangaben
27 Tabelle 4: Anzahl der Schulen und Schülerpopulation in den Bundesländern 28 Tabelle 5: Daten und Fakten zum Migrationshintergrund
29 Tabelle 6: Kontextfaktoren in Österreich
32 Tabelle 7: Soziale Eingebundenheit der Schüler/innen in der Schule in Österreich 33 Tabelle 8: Bemühen der Schüler/innen im Vergleich zu einer Schularbeit in Österreich 55 Tabelle 9: Veränderung der Schülerzusammensetzung 2013 und 2018 in Prozentpunkten 57 Tabelle 10: Wohlbefinden der Schüler/innen 2013 und 2018
57 Tabelle 11: Motivationale Merkmale der Schüler/innen 2013 und 2018
Danksagung
Die Vorbereitung und Durchführung einer Standardüberprüfung sowie die Erstellung der Ergebnisberichte ist nur durch das engagierte Zusammenwirken vieler Personen möglich. Nachfolgend sind die Teams am Bundesinsti- tut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (BIFIE) angeführt, die an den Arbeiten zur Überprüfung der Bildungsstandards 2018 in Mathematik aktiv mitgewirkt haben. An dieser Stelle soll an alle, die ihren wertvollen Beitrag geleistet haben, ein herzlicher Dank ergehen. Zunächst gilt ein Dank sowohl der Organisationseinheitenleitung Christian Wiesner als auch den Bereichsleitungen Katrin Pacher und Martin Pointinger, welche für die teamübergreifende Gesamtkoordination verantwortlich waren.
Unter der Leitung von Margit Freller-Töglhofer verantwortete das Team Fachdidaktik Mathematik die Itement- wicklungsprozesse und damit die Testinstrumente sowie die Bewertung offener Schülerantworten. Das Team Methoden & Statistik unter der Leitung von Roman Freunberger zeichnete für die Stichprobenziehung, die methodische Begleitung der Itementwicklungsprozesse, die Testdesigns, die Analyse und die Skalierung der Daten verantwortlich. Der Kontakt zu allen Schulen, die Erstellung von Handbüchern für Testleiter/innen sowie die Schulung der Testleiter-Trainer/innen und der Testleiter/innen lag im Verantwortungsbereich des Teams Erhebungsmanagement unter der Leitung von Cornelia Pfund-Stockinger. Das Team Datenmanagement unter der Leitung von Manuel Wick-Eckl sorgte für die reibungslose Konfektionierung und Logistik des gedruckten Testmaterials, die Rücklaufkontrolle und das Scannen der Fragebögen und Testhefte, die Verifizierung und Kodierung der Schülerantworten sowie die Aufbereitung der Rohdatenfiles. Unter Leitung von Maria Neubacher verantwortete das Team Rückmeldung die Konzeption und Erstellung der Ergebnisrückmeldungen und Berichte sowie die Schulung der Rückmeldemoderatorinnen und -moderatoren. Die Kontextfragebögen für Schüler/in- nen, Eltern, Lehrer/innen und Schulleiter/innen lagen im Aufgabenbereich des Teams Begleitforschung & Kon- textbefragung unter der Leitung von Daniel Paasch.
Wichtige Unterstützung erhielten die Teams durch die Organisationseinheit Management & Services (MS) unter der Leitung von Stefan Terler und Andreas Kamenik.
Ein Dank ergeht auch an die externen Partnerinnen und Partner, die die Überprüfung der Bildungsstandards 2018 mitermöglicht haben: Die wissenschaftlichen Kooperationspartner/innen haben wesentlich am Überprü- fungskonzept mitgewirkt. Den Itementwicklerinnen und -entwicklern ist eine praxisnahe Testentwicklung zu verdanken. Die internen und externen Testleiter/innen und die Qualitätsprüfer/innen haben für eine standardisierte Testdurchführung an den Schulen gesorgt. Coder/innen haben Fragen mit offenen Schülerantworten beurteilt.
Außerdem sind an dieser Stelle die BIST-Bundeslandkoordinatorinnen und -koordinatoren an den Päda go- gischen Hochschulen sowie unsere Ansprechpartner/innen am BMBWF, insbesondere Augustin Kern und Renée Langer bzw. seit Herbst 2018 Julia Schinwald und Stephanie Mayer, zu erwähnen.
Ein besonderer Dank ergeht an alle an der Überprüfung beteiligten Volksschulkinder, die sich am Testtag an- gestrengt und ihr Bestes gegeben haben, sowie an ihre Eltern, Lehrer/innen und Schulleiter/innen, die im Vorfeld der Überprüfung mitgewirkt und an den Befragungen teilgenommen haben.
Mag. Angela Weilguny
Direktorin des Bundesinstituts BIFIE
Einleitung
Bildungsstandards in Österreich können als entscheidende Entwicklung zur evidenzorientierten Qualitätsent- wicklung im österreichischen Bildungssystem bezeichnet werden, da sie seit ihrer Einführung 2008/09 auf eine nachhaltige Veränderung der Unterrichts- und Schulpraxis durch Kompetenzorientierung abzielen. Durch die in den Bildungsstandards konkret formulierten Lernergebnisse in Form von Könnensbeschreibungen (sogenannte
„Can-Do-Statements“) ist ein gewisser einheitlicher Rahmen festgelegt. Diese Grundlage soll beim wirksamen Kompetenzaufbau unterstützen und somit dazu beitragen, allen Schülerinnen und Schülern die bestmögliche Schulbildung zu gewährleisten. Die regelmäßigen Überprüfungen und Rückmeldungen von Kompetenzständen und Kontextinformationen bieten eine fundierte Basis für standortbezogene Qualitätsentwicklung. Die im deutschsprachigen Raum einzigartige flächendeckende Ergebnisrückmeldung an Einzelschulen ist eine tragende Säule für eine faktenorientierte, effektive und fortwährende Qualitätsarbeit an Österreichs Schulen. Schulauf- sicht, Schulleitungen und Lehrerkollegien erhalten durch die Rückmeldungen Impulse, den Unterricht im Hin- blick auf die nachhaltige Vermittlung der grundlegenden Kompetenzen weiterzuentwickeln und somit bestmög- liche Lernerfahrungen und -ergebnisse für die Schüler/innen zu ermöglichen.
Die Berichterstattung zu den Bildungsstandards verfolgt neben dem Ziel der standortbezogenen Qualitätsent- wicklung auch wichtige systemische Ziele: Das sogenannte System-Monitoring dient als Grundlage für die Steuerung des Schulwesens. Die Berichterstattung zu den fachlichen Kompetenzen der Schüler/innen erweitert auf der Systemebene die Steuerungsinformationen für Politik und Verwaltung substanziell und ermöglicht der interessierten Öffentlichkeit einen Einblick in die Leistungsfähigkeit des Schulsystems. Die in diesem und in vor- herigen Systemberichten dargestellten Analysen zur Überprüfung der Bildungsstandards bieten wichtige Erkenntnisse, Befunde und Fakten zur Situation des österreichischen Schulsystems und helfen, Fortschritte und Problemlagen zu beschreiben. Die Systembeobachtung anhand der Überprüfung der Bildungsstandards orien- tiert sich stärker als internationale Erhebungen (PISA, PIRLS, TIMSS) an den Zielen und der Praxis österreichi- scher Schulen und bildet somit eine wesentliche Basis für ein nationales System-Monitoring.
Der vorliegende Bundesergebnisbericht beinhaltet die Ergebnisse aller Schüler/innen Österreichs, die 2018 an der Bildungsstandardüberprüfung in Mathematik auf der 4. Schulstufe teilgenommen haben. Dies ist nach Mathematik auf der 8. Schulstufe der zweite Bericht des zweiten Überprüfungszyklus der Bildungsstandards.
Mit den Ergebnissen aus dieser Erhebung in der Serie der Standardüberprüfungen liegt nun erstmals in Öster- reich ein Vergleich zu fachlichen Kompetenzen der Schüler/innen in Mathematik am Ende der Volksschule im Trend zwischen den Überprüfungen von 2013 und 2018 vor. Gemeinsam mit der Baseline-Erhebung des Jahres 2010 können Entwicklungen im österreichischen Schulsystem damit anhand von drei Messzeitpunkten – 2010, 2013 und 2018 – verfolgt werden.
Die Kapitel 1 und 2 führen überblicksartig in die Bildungsstandards und deren Überprüfung sowie ihren Beitrag zur Kompetenzorientierung und Qualitätsentwicklung ein und geben konkrete Hintergrund- und Prozessinfor- mationen zur Überprüfung des Jahres 2018, beispielsweise über das zugrundeliegende Kompetenzmodell, über den Prozess der Item- und Testentwicklung, über die konkrete Testdurchführung selbst sowie die Daten- aufbereitung und Auswertung der Kompetenzmessung.
Kapitel 3 enthält Informationen über die Schüler/innen, die 2018 an der Standardüberprüfung teilgenommen haben. Zum einen werden die soziodemografische Zusammensetzung der Schülerschaft und ihre motivational- emotionalen Einstellungen in Bezug auf die Schule, die Klasse sowie das Fach Mathematik dargestellt, zum anderen werden die unterschiedlichen Rahmenbedingungen der Schulen in den Blick genommen. Kapitel 4 gibt einen detaillierten Einblick in die Kompetenzen der Schüler/innen in Mathematik insgesamt sowie in den all- gemeinen und inhaltlichen mathematischen Kompetenzen. In Kapitel 5 werden Zusammenhänge zwischen dem
Mathematikergebnis und Kontextmerkmalen für verschiedene Subgruppen (Geschlecht, Migrationshintergrund, Bildungshintergrund …) dargestellt. Kapitel 6 legt den Fokus auf die Schulen und Lehreinstellungen.
In Kapitel 7 werden die Ergebnisse der Standardüberprüfungen in Mathematik auf der 4. Schulstufe im Vergleich zwischen 2013 und 2018 dargestellt und Veränderungen zwischen diesen beiden Überprüfungen genauer ana- lysiert. Zuletzt werden die wichtigsten Ergebnisse der statistischen Auswertungen in Kapitel 8 zusammengefasst und kommentiert.
Ergänzende Publikationen:
Ergänzt wird die Berichterstattung um neun Landesergebnisberichte mit Auswertungen für die Bundesländer.
Diese neun Landesergebnisberichte finden sich zusammen mit dem Bundesergebnisbericht unter https://www.
bifie.at/material/ueberpruefung-der-bildungsstandards/ergebnisberichte/. Auf dieser Seite können auch die Bun- desergebnisberichte und Landesergebnisberichte aller bisherigen Standardüberprüfungen abgerufen werden.
Musterberichte für Schulleiter/innen, Lehrer/innen und Schüler/innen sind auf der folgenden Website zu finden:
https://www.bifie.at/material/ueberpruefung-der-bildungsstandards/musterrueckmeldungen/
1 Hintergrund und Ziele der Bildungs- standards und ihrer Überprüfung
Vergangene Befunde aus internationalen Schülerleistungsstudien am Ende der Primarstufe, wie z. B. TIMSS (Suchań, Wallner-Paschon, Bergmüller & Schreiner, 2012) belegen, dass es immer noch einen nicht zu vernach- lässigenden Teil an Schülerinnen und Schülern gibt, die nach vier Jahren Grundschule leistungsschwache Ergebnisse erzielen. Diese Kinder starten aufgrund dieser mangelnden Basis an Wissen und Können bereits mit entsprechenden Defiziten, die sie nur schwer aufholen können, in der Sekundarstufe 1. Vor dem Hintergrund dieser Befunde wurde in der Bildungspolitik nach neuen Steuerungsmodellen und Strategien für mehr Nach- haltigkeit, Verbindlichkeit sowie Ziel- und Ergebnisorientierung – nicht erst am Ende der Schulpflicht – gesucht.
Die primäre Zielsetzung der Bildungsstandards ist die an Daten orientierte Unterrichtsentwicklung und die Einführung des kompetenzorientierten Unterrichts (Specht & Lucyshyn, 2008). Die Einführung der Bildungs- standards im österreichischen Schulsystem ist zudem vom Leitgedanken getragen, dass die Schule ihr Ziel1, nämlich allen Schülerinnen und Schülern grundlegende Kompetenzen nachhaltig zu vermitteln, erreichen soll.
Im Vordergrund steht die Ziel- und Entwicklungsorientierung, d. h. inwieweit eine Schule die Kompetenzen der Schüler/innen über einen bestimmten Zeitraum entwickelt (als Distanz zum zu erreichenden Lernziel). Die aktuellen Standards sind in Österreich „keine Überprüfung der Schüler und Schülerinnen“, sondern „eine Ziel- vorgabe für die Qualität des Unterrichts“2 an einer Schule. Durch diese Entwicklungsorientierung mit dem Fokus auf die Unterrichtsqualität entstehen durch Standards keine Rechtsfolgen und auch keine ausgeprägte aktive Rechenschaftslegung. Bildungsstandards spielen eine wichtige Rolle im Bereich der „schulinternen Lehrerfort- bildung“ und in den Maßnahmen, die hinsichtlich „Qualitätsentwicklung in Schulen“ gesetzt werden.
Im Hinblick auf grundlegende Kompetenzen in zentralen Fächern setzen Bildungsstandards dem schulischen Lernen klare Ziele und haben somit Orientierungscharakter, insbesondere für Schulen und Lehrer/innen. Die Überprüfung der Bildungsstandards zeigt den Akteurinnen und Akteuren aller Ebenen, in welchem Ausmaß es gelingt, Kompetenzen der Schüler/innen nachhaltig abzusichern. Die Leitidee der Ziel- und Entwicklungsorien- tierung führt dazu, dass Bildungsstandards und deren Überprüfung zu einer professionellen, evidenzorientierten Reflexionskultur führen und evidenzorientiertes Handeln in der Qualitätsentwicklung von Schule und Unterricht nachhaltig verankert wird (vgl. Wiesner, Schreiner, Breit & Angerer, 2016). Die Ergebnisse von Bildungsprozessen sollen die Basis von Entscheidungen darstellen und als Grundlage pädagogischer Entwicklungsarbeit dienen (Posch, Rauch & Seidl, 2012, S. 41). Im Fokus steht seither der Unterricht als zentraler Ort des Kompetenz- erwerbs (Specht, 2007, S. 197) sowie die Einzelschule als koordiniertes Zusammenwirken von Lehrkörper, Schulleitung und Schulaufsicht (Wiesner, Schreiner, Breit, Kemethofer, George & Angerer, 2016, S. 19).
Die österreichischen Bildungsstandards und deren Überprüfung gewährleisten also eine Zielorientierung auf mehreren Ebenen: Auf der Ebene des Unterrichts dienen Bildungsstandards der nachhaltigen Ziel- und Ergeb- nisorientierung, indem sie bei der Planung und Gestaltung von Unterricht berücksichtigt werden (Orientierungs- funktion). Darüber hinaus ermöglichen Bildungsstandards, weil sie einen konkreten Vergleichsmaßstab darstel- len, die bestmögliche Diagnostik als Grundlage für eine erfolgreiche individuelle Förderung (Förderfunktion).
Außerdem dienen die Rückmeldungen aus Standardüberprüfungen am Standort einer kontinuierlichen koope- rativen und evidenzorientierten Qualitätsentwicklung und -sicherung von Schule und Unterricht. Im Rahmen des zweiten Überprüfungszyklus wird diese Arbeit durch die Perspektive der längsschnittlichen Veränderung auf Schulebene ergänzt. Auf Systemebene fungieren die Bildungsstandards als ein konzeptionelles Gerüst, auf
1 Bundesministerin für Bildung, Wissenschaft und Kultur, Elisabeth Gehrer: 20. Sitzung des Nationalrats, Stenografisches Protokoll, 2000.
2 Bundesministerin für Bildung, Wissenschaft und Kultur, Elisabeth Gehrer: 20. Sitzung des Bundesrats, Stenografisches Protokoll der 706. Sitzung, 2004.
dessen Basis die Überprüfung der fachlichen Kompetenzen der Schüler/innen ein faktenbasiertes System- Monitoring ermöglicht und somit Grundlagen für bildungspolitische Entscheidungen schafft (Evaluationsfunktion).
1.1 Die Bildungsstandards in Österreich
Bezugspunkt der österreichischen Bildungsstandards ist der von Franz E. Weinert (2001) entwickelte Kompe- tenzbegriff. Kompetenzen sind demnach „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösung in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“ (Weinert, 2001, S. 27 f.). Kompetenzen sind das Ergebnis von Lernpro- zessen und umfassen Aspekte des Wissens und der Wissensvernetzung (kognitive Fähigkeiten), des Könnens (variable lebensweltliche Anwendung) und des Wollens (sozial-kommunikative und motivationale Vorausset- zungen) sowie das Vermögen der Selbstregulation und Reflexion. Die österreichischen Bildungsstandards sind konkret formulierte Lernergebnisse, die auf grundlegenden fachbezogenen Kompetenzen basieren und wesent- liche inhaltliche Bereiche eines Gegenstands abdecken und somit für den weiteren Kompetenzaufbau entschei- dend sind (vgl. BGBl. II Nr. 1/2009). Die grundlegenden Kompetenzen schaffen die Basis für den Erwerb und die Anwendung spezifischer Fähigkeiten und Fertigkeiten und verkörpern damit ein weitgehend stabiles Wissen und Können, das zur Bewältigung wechselnder und variabler Herausforderungen befähigen soll.
Bildungsstandards definieren in Österreich, über welche Kompetenzen die Schüler/innen bis zum Ende der jeweiligen Schulstufe in der Regel verfügen sollen. Mit diesen Regelstandards wird eine große Bandbreite von Kompetenzen angesprochen. Im Anschluss an die Kompetenzmessung wird der Grad der Kompetenzerrei- chung in Form von Kompetenzstufen rückgemeldet. Diese Setzung als Regel- anstelle von Mindeststandards muss bei der Betrachtung und Analyse von Überprüfungsergebnissen maßgeblich beachtet werden.
Den Bildungsstandards liegt ein aus dem jeweiligen Lehrplan abgeleitetes fachspezifisches Kompetenzmodell zugrunde, das sich auf fachsystematische Gesichtspunkte stützt und den Unterrichtsgegenstand strukturiert.
Die Bildungsstandards beschreiben die Kompetenzen als konkret formulierte Lernergebnisse in Form von „Can- Do-Statements“ aus der Perspektive der Schüler/innen.
1.2 Komplementäre Aspekte der Bildungsstandards
Neben den Ergebnissen aus den zentral ausgewerteten Standardüberprüfungen steht den Schulen bzw. Lehre- rinnen und Lehrern zusätzlich mit den Instrumenten zur Informellen Kompetenzmessung (IKM) ein Tool zur Selbstevaluierung zur Verfügung. Auf der 3. und 4. Schulstufe können Lehrer/innen auf einer Online-Plattform den Lernstand ihrer Klasse und der einzelnen Schüler/innen feststellen und unmittelbar mit den automatisiert generierten Rückmeldungen ihren Unterricht entwickeln und Schüler/innen fördern. Mit den Daten aus den Bildungsstandardüberprüfungen (BIST-Ü) und den Informellen Kompetenzmessungen (IKM) werden unter- schiedliche Konzepte der Qualitätsentwicklung und -sicherung im Bildungssystem unterstützt (Wiesner, Schrei- ner, Breit & Bruneforth, 2017, sowie Abbildung 1).
Neben dem System-Monitoring dient die Standardüberprüfung jedoch vor allem der evidenzbasierten, strategi- schen und konzeptionellen Qualitätsentwicklung am Standort. Diese Arbeit wird mithilfe von faktenbasierten Informationen über erreichte Kompetenzen sowie Informationen aus erhobenen Kontextdaten unterstützt. Durch den zweiten Zyklus liefern die Ergebnisse auch Informationen zur standortbezogenen Entwicklung von Kompe- tenzen und Kontextmerkmalen in den Schulen. Ebenso liefern die Ergebnisse nützliche Informationen für die Unterrichtsentwicklung, wobei sowohl die kooperative Unterrichtsentwicklung (z. B. in Form von professionellen Lerngemeinschaften) als auch die eigene Unterrichtsentwicklung im Hinblick auf Unterrichtsgestaltung und -struktur im Vordergrund stehen. Für die klassenbezogene Unterrichtsentwicklung und die pädagogische Diag- nostik empfehlen sich vor allem die Instrumente der Informellen Kompetenzmessung.
Abbildung 1: Verortung der Zielsetzungen: Komplementäre Aspekte der Standardüberprüfung und der Informellen Kompetenzmessung (Quelle: Wiesner, Schreiner, Breit & Bruneforth, 2017)
1.3 Die Überprüfung der Bildungsstandards
Durch die regelmäßige Überprüfung der Bildungsstandards am Ende der Volksschule bzw. der Sekundarstufe 1 wird objektiv, zuverlässig und valide durch eine zentrale Auswertung festgestellt, ob und in welchem Ausmaß Schüler/innen die gewünschten Kompetenzen erreichen und wie sich der Ist-Stand der Kompetenzen der Schüler/innen mit dem angestrebten Soll (Zielorientierung) deckt. Die Rückmeldung der Ergebnisse dient als Impuls für Qualitätsentwicklungsprozesse am jeweiligen Schulstandort sowie regional, landes- und bundesweit (siehe Abschnitt 1.3.3). Einige Fakten zur Überprüfung sind in den folgenden Abschnitten zusammengefasst.
IKM
Bildungsstandards
Kompetenzorientierung
BIST-Ü
SQA
Lernerfahrungen und -ergebnisse Lernen
und Lehren
Lebens- raum Klasse und Schule Führung und Schulmanagement
Professio- nalität und Personal- entwicklung
Schul- partner- schaft und Außen- beziehungen Externe
Unterstützung (Fortbildung, Materialien)
Personelle Ressourcen
Lehrer/innen- ausbildung
Kompetenzen der Lehrpersonen
Schüler/innen und familiäres Umfeld
Schulumfeld (Gemeinde, Interessengruppen)
Rechtliche und organisatorische
Vorgaben
Sach- ressourcen
Bildungs- politik
Gesellschaftliche und wirtschaftliche
Entwicklung
Schule
Förderung
Professionalisierung Unterricht
Kompetenzstruktur Kompetenzmessung Entwicklungsaspekte
System-Monitoring
Schulentwicklung
Kooperative Unterrichtsentwicklung
Eigene Unterrichtsentwicklung
Klassenbezogene Unterrichtsentwicklung
Pädagogische Diagnostik
Orientierung Funktion
BGBl. II 1/2009
Inwieweit erreichen Schüler/
innen im österreichischen Schulwesen die nationalen Bildungsstandards?
Evaluationsfunktion: Kompetenzen objektiv feststellen und mit den angestrebten Lern- ergebnissen für Zwecke der Qualitätsentwicklung an den Schulen vergleichen Inwieweit erreichen Schüler/
innen an einem Schulstandort Kompetenzbereiche und einzelne Kompetenfelder?
Was kann wie durch Kontextdaten (Lebensraum, Schulklima, Klassenklima, Selbstkonzept, Freude am Fach usw.) erklärt werden?
Was kann wie fachdidaktisch durch die Struktur und Gestaltung von Unterricht wie auch durch eine Aufgaben- analyse erklärt werden?
Inwieweit erreichen Schüler/
innen einer Klasse einzelne ausgewählte Kompetenz- bereiche (Teilkompetenzen)?
Inwieweit müssen Schüler/
innen gefördert bzw.
Lerngruppen gebildet werden?
Orientierungsfunktion: eine nachhaltige Ziel- und Ergebnisorientierung in der Planung und Durchführung von Unterricht bewirken
Förderfunktion: durch konkrete Vergleichsmaßstäbe die bestmögliche Diagnostik als Grundlage für individuelle Förderung sicherstellen
Weiterführende Literatur:
Eine allgemeine Beschreibung der grundlegenden Methodik, die bei den Überprüfungen zum Einsatz kommt, bietet das Handbuch „Large-Scale Assessment mit R“ (Breit & Schreiner, 2016). Angefangen bei der Testkonstruktion bis zu Aspekten der Rückmeldung werden die eingesetzten methodischen Verfahren dargestellt und diskutiert. Mit zeitlicher Verzögerung zur Veröffentlichung der Ergebnisberichte wird zudem die Reihe der Technischen Dokumentation zu den Überprüfungen der Bildungsstandards erweitert. Unter https://www.bifie.at/material/ueberpruefung-der-bildungsstandards/technische-dokumentation/ finden sich Dokumentationen zu ausgewählten (v. a. methodischen) Aspekten der abgeschlossenen Erhebungen.
1.3.1 Der Überprüfungszyklus
Bei der Standardüberprüfung werden jedes Jahr die Kompetenzen eines anderen Fachs sowie wichtige Kon- textfaktoren erfasst. Der erste Überprüfungszyklus umfasste die Jahre 2012 bis 2016. Mit der Überprüfung in Mathematik auf der 8. Schulstufe im Frühjahr 2017 begann der zweite Zyklus, der 2018 mit der Überprüfung in Mathematik auf der 4. Schulstufe fortgeführt wurde.
In einem Überprüfungsjahr nehmen rund 73.000 Schüler/innen auf der 8. Schulstufe an ca. 1400 Schulen der Sekundarstufe 1 bzw. rund 74.000 Schüler/innen auf der 4. Schulstufe an ca. 3000 Volksschulen an einer Über- prüfung teil. Sie alle erhalten eine Rückmeldung über die erreichten Ergebnisse. Durch die wiederkehrende Überprüfung eines gleichen Fachs auf der gleichen Schulstufe erhalten Schulen nicht nur eine Rückmeldung zum jeweils aktuellen Ist-Stand, sondern es ist erstmals für Schulen möglich, die eigene Entwicklung über die Zeit hinweg datengestützt zu reflektieren.
Eine wichtige Aufgabe der Überprüfung der Bildungsstandards ist es, Veränderungen der Schülerkompetenzen und somit der Zielerreichung über die Zeit zu beobachten. Dazu wurde auf der 8. Schulstufe im Frühjahr 2009 an einer repräsentativen Stichprobe von insgesamt 204 Schulen eine Ausgangsmessung, die sogenannte Base- line-Testung, durchgeführt. Die Ausgangsmessung für die 4. Schulstufe fand analog dazu im Jahr 2010 statt.
Diese Baseline-Testungen erhoben, über welche Kompetenzen die Schüler/innen verfügten, bevor Bildungs- standards im Unterricht implementiert wurden. Die Daten aus den Baseline-Testungen dienen als Vergleichs- basis und können somit Leistungsveränderungen seit dem Jahr 2009 bzw. 2010 aufzeigen.
1.3.2 Die zu überprüfenden Kompetenzbereiche
Während Lehrpläne neben einem breiten fachlichen Verständnis auch Selbst- und Sozialkompetenz anspre- chen, fokussieren die aus den Lehrplänen abgeleiteten Bildungsstandards darauf, über welche fachlichen Fähigkeiten und Fertigkeiten Schüler/innen längerfristig verfügen sollen. Den einzelnen Fächern bzw. Domänen liegen dabei Kompetenzmodelle zugrunde, die das jeweilige Fach in verschiedene Kompetenzbereiche struktu- rieren (vgl. Abbildung 5). Im Rahmen der Standardüberprüfung sind alle Kompetenzbereiche zu berücksichtigen.
Nähere Informationen zu den Kompetenzmodellen der verschiedenen Fächer und den zu überprüfenden Kom- petenzbereichen finden Sie unter https://www.bifie.at/kompetenzmodelle-und-bildungsstandards oder in den jeweiligen Praxishandbüchern zu den Bildungsstandards. Das Hauptaugenmerk der Testinhalte liegt auf der Beherrschung von Prozessen, dem Verständnis von Konzepten sowie auf der Fähigkeit, innerhalb eines Kom- petenzbereichs aufgrund von nachhaltig vernetztem Wissen mit unterschiedlichen alltagsbezogenen Situatio- nen und Problemen umgehen zu können.
1.3.3 Qualitätsarbeit auf Basis von Standardüberprüfungen
Der vorliegende Bundesergebnisbericht sowie die neun Landesergebnisberichte dienen dem System-Monito- ring und versuchen, die Qualität des Bildungssystems durch aussagekräftige Indikatoren zu beschreiben. Die Ergebnisse sollen möglichst direkt in Steuerungsprozessen des Bildungssystems genutzt werden bzw. eine Basis für wissenschaftliche Analysen zur Vermehrung steuerungsrelevanten Wissens bereitstellen (Eder & Alt- richter, 2009). Externe Überprüfungen von Schülerkompetenzen und insbesondere eine professionelle, koope- rative Reflexionsarbeit am Schulstandort haben für Qualitätsentwicklungs- und Qualitätssicherungsprozesse in einem Schulsystem große Bedeutung. Der Schwerpunkt liegt – im Gegensatz zu vergleichenden internationalen Studien – darauf, Schulleitungen sowie Lehrerinnen und Lehrern konkrete Rückmeldung über die von ihren Schülerinnen und Schülern erzielten Ergebnisse am Standort (Klasse, Schule) zu geben.3
3 Dieser Abschnitt basiert auf Wiesner, Schreiner, Breit & Kemethofer, 2017.
Zur Veranschaulichung von Gelingensbedingungen, Wirkfaktoren und Unterstützungsstrukturen für Rückmel- dungen, die Schul- und Unterrichtsentwicklung maßgeblich beeinflussen, wurde von Helmke (2004, 2009) ein grundlegendes und ertragreiches Rahmenmodell entworfen. Für Österreich liegt seit 2015 eine Weiterentwick- lung davon vor (vgl. Abbildung 2).
Abbildung 2: Österreichisches Rahmenmodell zur Nutzung von Rückmeldungen aus Standardüberprüfungen für evidenzorientierte Schulentwicklung (Wiesner, Schreiner & Breit, 2015); Weiterentwicklung des Helmke-Modells (2009)
In diesem weiterentwickelten Rahmenmodell wird die Kompetenzorientierung als Ausgangspunkt sichtbar, welcher den Bildungsstandards und den Überprüfungen vorgelagert ist. Die Kompetenzorientierung und die Bildungsstandards erfordern einen Muster- und Perspektivenwechsel, weil sie die Aufmerksamkeit des Unter- richts insbesondere auf die Kompetenzen der Schüler/innen richten. Im Vordergrund stehen Handlungskompe- tenzen der Lernenden zur Bewältigung von Problemen in variablen Situationen und die damit verbundenen motivationalen und sozialen Fähigkeiten und Bereitschaften, um die Kompetenzen verantwortungsvoll und erfolgreich zu nutzen.
Die Rückmeldung von Lernergebnissen und Kontextdaten aus den Bildungsstandardüberprüfungen soll den Prozess der Rezeption, Reflexion, Aktion (Handlungen) und die schulinterne Evaluation bzw. externe Überprü- fung möglichst evidenzbasiert untermauern und strukturieren. Die Rezeption umfasst die sachlich korrekte und bewusste Wahrnehmung und erste Interpretation der Ergebnisse, um Potenziale und auch Schwächen zu er- kennen und um „gedachte“ Probleme zu artikulieren.
Schulleitung & Lehrpersonal
Rezeption Reflexion Evaluation
Rückmelde-
moderator/innen Schulqualität Allgemeinbildung (SQA) –
„Zielvereinbarung und Entwicklungspläne“
Entwicklungsberatung in Schulen (EBIS)
Schulische Bedingungen
Lehreraus-, -fort- und -weiterbildung Rückmeldung der Ergebnisse der periodischen Überprüfung der Bildungsstandards
Kompetenzorientierung Orientierung & individuelle Förderung Diagnose- und Testaufgaben Kompetenzmodelle Aufgaben zum Lernen
transformationale pädagogische Führung
kompetenzorientierte Unterrichtsgestaltung Aufgaben zum Lernen & Förderung
entwickelnde & evaluative Grundhaltung
Feedback- & Kooperationskultur
gelebte Schulpartnerschaft gelebte Transparenz
Sinnorientierung und Wertschätzung
Wissenschaft(Entwicklung von Diagnose-, Förderverfahren & Tests zur vergleichenden Messung)
Aktion
Stärken und Schwächen erkennen
Beziehungen ordnen
Erklärungen und Ideen entwickeln
Beziehungen re- organisieren und (neu) verknüpfen
Entwicklungen arrangieren
Kooperationen und Projekte verbinden
Was wirkt?
Wie wirkt es?
Wirkt es nachhaltig?
Ist es sinnvoll?
erkennen verstehen gestalten hinterfragen
Schulaufsicht
Die professionelle Reflexion ist die entscheidende Phase im gesamten Qualitätsentwicklungs- und Quali - täts sicherungsprozess. Es geht darum, die Ergebnisse fokussiert zu erfassen und zu verstehen. Durch eine gemeinsame Diskussion verschiedener Erklärungsansätze und Perspektiven im Fachkollegium werden die Rückmeldeinformationen verdichtet und Gestaltungsspielräume eröffnet. Die Frage, welche Faktoren als mög- liche Erklärungsansätze am Schulstandort relevant sind, kann nur mithilfe von schulinternem Wissen beant- wortet werden. Es können weitere Fakten in den Reflexionsprozess miteinbezogen werden und neben dem (kooperativen) Nachdenken über die Unterrichtsgestaltung auch neue Visionen und Ziele für die weitere Schul- entwicklung entworfen werden. Gelungene professionelle Reflexionen vermeiden kontraproduktive Fehlentwick- lungen oder reinen Aktionismus.
Im Reflexionsprozess können Handlungsfelder identifiziert und möglichst langfristige Prozessänderungen wie auch Maßnahmen abgeleitet werden. Mit Aktion ist die Umsetzung dieser Maßnahmen bzw. Veränderungen von Abläufen oder Unterrichtsmethoden gemeint. Die Prozesse und Maßnahmen müssen gewissermaßen orchest- riert bzw. mit einem Qualitätsrahmen verbunden werden; isolierte und einmalige Aktionen (einzelne „aktionisti- sche“ Maßnahmen) führen in der Schulentwicklung ohne professionelle Reflexion kaum zum Erfolg. Professio- nelle Reflexionsarbeit ist immer zyklisch zu verstehen. Dies ist hier zum einen durch die regelmäßig stattfindenden Standardüberprüfungen bedingt; so folgt auf jeden vollständig durchlaufenen Qualitätsentwicklungszyklus eine neue Rezeptionsphase. Darüber hinaus sind in der Praxis aber auch Vor- und Rückwärtsbewegungen zwischen den einzelnen Phasen (und über diese hinweg) notwendig und sinnvoll. So können die Diskussionen in der Reflexionsphase zum Beispiel die Notwendigkeit aufzeigen, noch einmal zu den Fakten und damit zur Rezepti- onsphase zurückzukehren, um neu entstandene Informationsbedürfnisse abzudecken (siehe Abbildung 3).
Mit dieser Standardüberprüfung wurden die Kompetenzen in Mathematik am Ende der Volksschule nun bereits zum zweiten Mal flächendeckend überprüft. Durch diese erneute Evaluation besteht für Schulleiter/innen und Lehrer/innen erstmals die Möglichkeit, das Reflektieren von Veränderungen an einem Standort durch Evidenzen zu unterstützen. Der zweite Zyklus beginnt erneut mit einer Rezeptionsphase, in der die Daten und Evidenzen des ersten Bildungsstandardzyklus in die Reflexionsarbeit maßgeblich miteinbezogen werden sollen. Die Ver- änderungen am Schulstandort rücken ins Zentrum der Betrachtung. So sind sowohl Entwicklungen in der Kompetenzerreichung, Veränderungen in den Kontexten oder in der Zusammensetzung der Schülerschaft, zwischenzeitlich eingeleitete Maßnahmen als auch geänderte Rahmenbedingungen am Schulstandort mitzu- denken.
Die Reflexionsprozesse auf Basis der Ergebnisrückmeldung, die daraus abgeleiteten Maßnahmen, Prozess- änderungen und die Zielsetzungen müssen gemäß Verordnung über Bildungsstandards im Schulwesen doku- mentiert und periodisch evaluiert werden. Außerdem müssen im Rahmen der Initiative „Schulqualität Allgemein- bildung“ (SQA) die relevanten Aspekte für eine evidenzbasierte Schulentwicklung in den Entwicklungsplan der Schule Eingang finden. Für einen standortbezogenen Qualitätssicherungs- und -entwicklungsprozess sind die rückgemeldeten Ergebnisse wie auch die vorliegenden Kontextdaten (Schulklima, Klassenklima, Selbstkonzept usw.) der Standardüberprüfung von maßgeblicher Bedeutung, um Kompetenzorientierung nachhaltig zu etab- lieren.
Infobox Begleitmaßnahme
Nähere Informationen zur Rückmeldemoderation finden Sie im Dokument „Allgemeine Informationen und Begriffserklärungen zur Rückmeldung“ oder auf der BIFIE-Website unter dem Menüpunkt „reflektiert ent- wickeln“, „Konzept der Bildungsstandardüberprüfung“, „Rückmeldemoderation“ (www.bifie.at/rueckmelde- moderation/). Unterstützende Materialien des BMBWF zur Arbeit mit den Daten aus Bildungsstandardüber- prüfungen finden sich auf der SQA-Website (www.sqa.at).
Initital- und Rezeptionsphase
Stärken und Schwächen erkennen
Probleme identifizieren und formulieren
Daten und Evidenzen sammeln
Beziehungen ordnen
erkennen
Reflexionsphase
Auseinandersetzung aller Beteiligten
Erklärungen und Ideen entwickeln
Beziehungen reorganisieren und (neu) verknüpfen
verstehen
Integrations- und Aktionsphase
konsensgegründete Konzepte und Kreation
Entwicklungen und Maßnahmen arrangieren
Kooperationen und Projekte verbinden
Neuorientierung
gestalten Evaluationsphase
Was wirkt?
Wie wirkt es?
Wirkt es nachhaltig?
Ist es sinnvoll?
hinterfragen
Schule und Unterricht
Initial- und Rezeptionsphase
Integrations- und Aktionsphase
Reflexionsphase
Evaluationsphase
2. Zyklus
1. Zyklus
Situation
Situation
Situation
Abbildung 3: Professionelle Reflexionsarbeit: Integratives Zyklusmodell für eine evidenzorientierte Schul- und Unterrichtsentwicklung (Wiesner, Schreiner, Breit & Kemethofer, 2017)
2 Die Standardüberprüfung in Mathe- matik auf der 4. Schulstufe
Dieses Kapitel führt in das Design der Standardüberprüfung in Mathematik auf der 4. Schulstufe ein und gibt einen Überblick über die Durchführung an den Schulen, die Methoden der Datenaufbereitung und die Ergebnis- rückmeldung. Abschließend werden wichtige Hinweise zur Interpretation der Ergebnisse der Kapitel 3 bis 7 gegeben.
2.1 Das Kompetenzmodell in Mathematik auf der 4. Schulstufe
Den in den Bildungsstandards festgelegten Kompetenzen liegt ein aus dem Lehrplan abgeleitetes fachspezi- fisches Kompetenzmodell zugrunde. Das Kompetenzmodell strukturiert die wesentlichen, inhaltlichen Bereiche eines Unterrichtsgegenstands.
Für Mathematik auf der 4. Schulstufe ist das Kompetenzmodell in der Anlage zur Verordnung zu den österrei- chischen Bildungsstandards4 gesetzlich verankert. Im Kompetenzmodell sind vier allgemeine Kompetenzen (mathematische Handlungen) und vier inhaltliche Kompetenzen (mathematische Inhalte) enthalten, durch deren Kombination ein Gitter mit 16 Knoten (Umsetzung in Form von Testaufgaben) entsteht (vgl. Abbildung 4).
Jedes Item (Testaufgabe), das bei der Standardüberprüfung zum Einsatz kommt, ist jeweils einem Knoten, also einem allgemeinen und einem inhaltlichen Kompetenzbereich des Modells, zugeordnet. Jede Schülerin/jeder Schüler bearbeitet im Testheft Items aus allen vier allgemeinen und aus allen vier inhaltlichen Kompetenzen, d. h., durch die Abdeckung aller allgemeinen und inhaltlichen Bereiche in jedem Testheft ist sichergestellt, dass das Fach Mathematik immer in seiner gesamten Breite überprüft wird.
Die freigegebenen Items der Standardüberprüfungen geben einen guten Eindruck davon, welche Art von Test- aufgaben (Items) verwendet wurde, um die einzelnen Kompetenzen abzudecken. Die freigegebenen Items zeigen auch beispielhaft, wie Items bestimmten Kompetenzstufen zugeordnet werden. Sie finden sich im Anhang bzw. unter https://www.bifie.at/material/ueberpruefung-der-bildungsstandards/freigegebene-items.
4 Das Kompetenzmodell im Detail finden Sie unter dem Link: https://www.bifie.at/wp-content/uploads/2017/10/M4_2017_Kompetenz- modell_20171025.pdf Die Könnenserwartungen der Bildungsstandardverordnung siehe https://www.bifie.at/material/grundlagen-der- bildungsstandards/kompetenzmodelle-und-deskriptoren/.
Abbildung 4: Allgemeine und inhaltliche Bereiche des Kompetenzmodells in Mathematik
Die Bildungsstandards in Mathematik auf der 4. Schulstufe beschreiben jene mathematischen Kompetenzen, die die Schüler/innen bis zum Ende der 4. Schulstufe entwickelt und längerfristig verfügbar haben sollen. Die folgenden Tabellen beschreiben sowohl für die allgemeinen als auch die inhaltlichen mathematischen Kompe- tenzen die mit den Regelstandards angestrebten Ziele, die in Form von Can-Do-Statements („Könnensbeschrei- bungen“) bzw. Deskriptoren ausgedrückt werden.
Inhaltliche Kompetenzen
Allgemeine Kompetenzen
IK 1 IK 2 IK 3 IK 4
AK 1 AK 2 AK 3 AK 4
Allgemeine mathematische
Kompetenzen Inhaltliche mathematische
Kompetenzen
AK 1: Modellieren IK 1: Arbeiten mit Zahlen AK 2: Operieren IK 2: Arbeiten mit Operationen AK 3: Kommunizieren IK 3: Arbeiten mit Größen
AK 4: Problemlösen IK 4: Arbeiten mit Ebene und Raum
Allgemeine mathematische Kompetenzen
Kompetenzbereich: Modellieren (AK 1)
Kompetenzen = Deskriptoren AK1.1
Eine Sachsituation in ein mathematisches Modell (Terme und Gleichungen) übertragen, dieses lösen und auf die Aus
gangssituation beziehen
1. Die Schülerinnen und Schüler können aus Sachsituationen relevante Informa
tionen entnehmen.
2. Die Schülerinnen und Schüler können passende Lösungswege finden.
3. Die Schülerinnen und Schüler können die Ergebnisse interpretieren und sie überprüfen.
AK1.2
Ein mathematisches Modell in eine Sachsituation übertragen
1. Die Schülerinnen und Schüler können zu Termen und Gleichungen Sachaufgaben erstellen.
Kompetenzbereich: Operieren (AK 2)
Kompetenzen = Deskriptoren AK2.1
Mathematische Abläufe durchführen
1. Die Schülerinnen und Schüler können Zahlen, Größen und geometrische Figuren strukturieren.
2. Die Schülerinnen und Schüler können arithmetische Operationen und Verfahren durchführen.
3. Die Schülerinnen und Schüler können geometrische Konstruktionen durchführen.
AK2.2
Mit Tabellen und Grafiken arbeiten
1. Die Schülerinnen und Schüler können Tabellen und Grafiken erstellen.
2. Die Schülerinnen und Schüler können Informationen aus Tabellen und Grafiken entnehmen.
Kompetenzbereich: Kommunizieren (AK 3)
Kompetenzen = Deskriptoren AK3.1
Mathematische Sachverhalte verbalisieren und begründen
1. Die Schülerinnen und Schüler können mathematische Begriffe und Zeichen sachgerecht in Wort und Schrift benützen.
2. Die Schülerinnen und Schüler können ihre Vorgangsweisen beschreiben und protokollieren.
3. Die Schülerinnen und Schüler können Lösungswege vergleichen und ihre Aussagen und Handlungsweisen begründen.
AK3.2
Mathematische Sachverhalte in unterschiedlichen Repräsen
tationsformen darstellen
1. Die Schülerinnen und Schüler können ihre Vorgangsweisen in geeigneten Repräsentationsformen festhalten.
2. Die Schülerinnen und Schüler können Zeichnungen und Diagramme erstellen.
Kompetenzbereich: Problemlösen (AK 4)
Kompetenzen = Deskriptoren AK4.1
Mathematisch relevante Fragen stellen
1. Die Schülerinnen und Schüler können ein innermathematisches Problem erkennen und dazu relevante Fragen stellen.
AK4.2
Lösungsstrategien (er)finden und nutzen
1. Die Schülerinnen und Schüler können geeignete Lösungsaktivitäten wie Ver
muten, Probieren, Anlegen von Tabellen oder Erstellen von Skizzen anwenden.
2. Die Schülerinnen und Schüler können zielführende Denkstrategien wie systematisches Probieren oder Nutzen von Analogien einsetzen.
Inhaltliche mathematische Kompetenzen
Kompetenzbereich: Arbeiten mit Zahlen (IK 1)
Kompetenzen = Deskriptoren IK1.1
Zahldarstellungen und
beziehungen verstehen
1. Die Schülerinnen und Schüler können Zahlen im Zahlenraum 100 000 lesen und darstellen.
2. Die Schülerinnen und Schüler können sich im Zahlenraum 100 000 orientieren, Zahlen vergleichen und diese in Relation setzen.
3. Die Schülerinnen und Schüler können arithmetische Muster erkennen, beschrei
ben und fortsetzen.
IK1.2
Zahlen runden und Anzahlen schätzen
1. Die Schülerinnen und Schüler können Zahlen auf volle Zehner, Hunderter, … Zehntausender runden.
2. Die Schülerinnen und Schüler können Anzahlen schätzen.
IK1.3
Das Wesen der Bruchzahl verstehen
1. Die Schülerinnen und Schüler können Bruchzahlen darstellen.
2. Die Schülerinnen und Schüler können Bruchzahlen vergleichen, ordnen und zerlegen.
3. Die Schülerinnen und Schüler können Bruchzahlen im Zusammenhang mit Größen benützen.
Kompetenzbereich: Arbeiten mit Operationen (IK 2)
Kompetenzen = Deskriptoren IK2.1
Die vier Grundrechnungsarten und ihre Zusammenhänge verstehen
1. Die Schülerinnen und Schüler verfügen über Einsicht in das Wesen von Rechen
operationen.
2. Die Schülerinnen und Schüler können die Zusammenhänge zwischen den Grund
rechnungsarten erklären.
3. Die Schülerinnen und Schüler können Umkehroperationen verwenden, auch zur sinnvollen Überprüfung des Ergebnisses.
4. Die Schülerinnen und Schüler können Tausch, Nachbar und Analogieaufgaben verwenden.
IK2.2
Mündliches Rechnen sicher beherrschen
1. Die Schülerinnen und Schüler beherrschen sicher und schnell additive Grund
aufgaben im Zahlenraum 20.
2. Die Schülerinnen und Schüler beherrschen sicher und schnell multipli kative Grundaufgaben im Zahlenraum 100.
3. Die Schülerinnen und Schüler können nicht automatisierte Rechen operationen in Teilschritten durchführen.
4. Die Schülerinnen und Schüler können einfache Gleichungen mit Platz haltern lösen.
5. Die Schülerinnen und Schüler können Ergebnisschätzungen mit Hilfe von Überschlagsrechnungen durchführen.
IK2.3
Schriftliche Rechenverfahren beherrschen
1. Die Schülerinnen und Schüler verstehen die Algorithmen der schriftlichen Rechenverfahren.
2. Die Schülerinnen und Schüler können die Algorithmen der schriftlichen Verfahren für Addition, Subtraktion, Multiplikation und Division durchführen.
3. Die Schülerinnen und Schüler können die Lösung mit Hilfe einer Probe über
prüfen.
Kompetenzbereich: Arbeiten mit Größen (IK 3)
Kompetenzen = Deskriptoren IK3.1
Größenvorstellungen besitzen und Einheiten kennen
1. Die Schülerinnen und Schüler kennen genormte Maßeinheiten und können diese den Größenbereichen zuordnen.
2. Die Schülerinnen und Schüler können geeignete Repräsentanten zu Maß
einheiten angeben.
3. Die Schülerinnen und Schüler können Größen in unterschiedlichen Schreibweisen darstellen.
IK3.2
Größen messen und schätzen
1. Die Schülerinnen und Schüler beherrschen den Grundvorgang des Messens.
2. Die Schülerinnen und Schüler können mit geeigneten Maßeinheiten messen.
3. Die Schülerinnen und Schüler können Größen schätzen und ihre Vorgangsweise begründen.
IK3.3
Mit Größen operieren 1. Die Schülerinnen und Schüler können Größen miteinander vergleichen.
2. Die Schülerinnen und Schüler können mit Größen rechnen.
Kompetenzbereich: Arbeiten mit Ebene und Raum (IK 4)
Kompetenzen = Deskriptoren IK4.1
Geometrische Figuren erkennen, benennen und darstellen
1. Die Schülerinnen und Schüler können geometrische Körper und Flächen benennen.
2. Die Schülerinnen und Schüler können die Eigenschaften geometrischer Figuren beschreiben.
3. Die Schülerinnen und Schüler können Modelle von geometrischen Körpern herstellen.
4. Die Schülerinnen und Schüler können geometrische Figuren zeichnen oder konstruieren.
IK4.2
Beziehungen bei geometrischen Figuren erkennen
1. Die Schülerinnen und Schüler können Lagebeziehungen zwischen Objekten im Raum und in der Ebene beschreiben und nutzen.
2. Die Schülerinnen und Schüler können vorgegebene geometrische Muster erkennen, selbst entwickeln oder fortsetzen.
3. Die Schülerinnen und Schüler können den Zusammenhang zwischen Plan und Wirklichkeit herstellen.
IK4.3
Mit geometrischen Figuren operieren
1. Die Schülerinnen und Schüler können geometrische Figuren zerlegen und sie wieder zusammensetzen.
2. Die Schülerinnen und Schüler können Netze den entsprechenden Körpern zuordnen und umgekehrt.
IK4.4
Umfang und Flächeninhalt ermitteln
1. Die Schülerinnen und Schüler können den Umfang einer geometrischen Figur mittels Einheitslängen messen.
2. Die Schülerinnen und Schüler können den Umfang von Rechteck und Quadrat berechnen.
3. Die Schülerinnen und Schüler können den Flächeninhalt einer geometrischen Figur mittels Einheitsflächen messen.
4. Die Schülerinnen und Schüler können den Flächeninhalt von Rechteck und Quadrat berechnen.
Abbildung 5: Bildungsstandards Mathematik, 4. Schulstufe (Can-Do-Statements)
2.2 Item- und Testkonstruktion
Die Verantwortung für die Item- und Testentwicklung sowie die wissenschaftliche Qualität der Überprüfung trägt das Department Bildungsstandards & Internationale Assessments des Bundesinstituts BIFIE. Die fachlichen Entwicklungsarbeiten erfolgen in Kooperation mit Fachexpertinnen und Fachexperten von Pädagogischen Hochschulen oder Universitäten.
Zu allen Kombinationen von allgemeinen und inhaltlichen mathematischen Kompetenzen werden konkrete Auf- gabenstellungen unterschiedlicher Schwierigkeit entwickelt, die als Items im Rahmen der Standardüberprüfung verwendet werden. Die Itemersteller/innen sind Lehrpersonen aus ganz Österreich, die in verschiedenen Schul- typen unterrichten. Die Kolleginnen und Kollegen werden geschult und während des gesamten Prozesses von allen anderen Itemerstellerinnen und Itemerstellern (Review-Team) sowie Expertinnen und Experten des BIFIE und aus Universitäten und PH unterstützt. Die fachdidaktische Begleitung bei der Itementwicklung für die Stan- dardüberprüfung in Mathematik auf der 4. Schulstufe übernahm Prof. Dr. Kristina Reiss von der Technischen Universität München.
Im Rahmen einer Pilotierung wurden die Items für die Überprüfung auf ihre Eignung für den Einsatz hin überprüft.
Die Pilotierung zur Standardüberprüfung 2018 fand im Frühjahr 2016 statt. Auf Basis der Ergebnisse wurden ungeeignete Items aussortiert, die verbliebenen Items bildeten die Grundlage für die Zusammenstellung der Testhefte. Um die Ergebnisse mit der letzten Mathematik-Überprüfung vergleichen zu können, wurden auch Items aus der Standardüberprüfung 2013 erneut eingesetzt.
2.3 Zielpopulation und Anzahl getesteter Schüler/innen
Am 15. Mai 2018 bzw. am 24. Mai 2018 (Ersatztermin) wurden in Österreich flächendeckend die Schüler/innen auf der 4. Schulstufe schriftlich in Mathematik getestet.
Die Teilnahme an der Standardüberprüfung war laut Gesetz verpflichtend für alle Schüler/innen der 4. Schul stufe an allen öffentlichen sowie an privaten Volksschulen mit Öffentlichkeitsrecht. Ausgenommen waren alle außer- ordentlichen Schüler/innen sowie Schüler/innen mit sonderpädagogischem Förderbedarf (SPF), die in Mathe- matik nach dem Lehrplan der Sonderschule oder nach dem Lehrplan einer niedrigeren Schulstufe unterrichtet wurden. Schüler/innen mit Körper- oder Sinnesbehinderung nahmen dann nicht teil, wenn sie selbst mit allen- falls im Unterricht zur Verfügung stehenden Unterrichts- oder Hilfsmitteln unter den standardisierten Testbedin- gungen die gestellten Aufgaben aller Voraussicht nach nicht hätten lösen können (vgl. Verordnung über Bildungsstandards im Schulwesen in der aktuell gültigen Fassung).
Im Falle eines Schulwechsels innerhalb Österreichs konnten die Schüler/innen in den meisten Fällen an der neuen Schule berücksichtigt werden. Alle Schüler/innen, die kurzfristig vor dem Testtermin an eine Schule ge- kommen sind, konnten in der Regel mit einem Ersatztestheft überprüft werden. Tabelle 1 zeigt eine Übersicht über die zu testenden Schüler/innen (Schülerpopulation/Zielpopulation) und die Anzahl der von der Standard- überprüfung ausgenommenen Schüler/innen der Zielschulen. Die Zielpopulation der Standardüberprüfung Mathematik 4 umfasste 76.447 Schüler/innen.
Tabelle 1: Zielgruppe und ausgenommene Schüler/innen bei der Standardüberprüfung 2018 in Österreich
Anmerkungen: KSB = Körper- oder Sinnesbehinderung; außerord. = Status als außerordentl. Schüler/in; SO = Lehrplan Mathematik: Sonderschule oder niedrigere Schulstufe; Schule verlassen = nicht getestet aufgrund von Schulwechsel oder Schulabbruch.
Ausgenommene Schüler/innen
Klassen Schulen
Gemeldet
Summe Prozent
Ausnahmegrund Schule
verlassen KSB
Zu testen (Schüler- population) außerord. SO
Anzahl Anzahl
2963 4806 81.078 239 1647 2046 3932 4,8 % 699 76.447
In Tabelle 2 findet sich eine Aufstellung, wie viele Schüler/innen aufgrund von Abwesenheit nicht getestet werden konnten. Den beiden letzten Spalten kann die Anzahl der getesteten Schüler/innen in absoluter und relativer Häufigkeit entnommen werden. Die Teilnahmequote ist mit 96,5 % insgesamt sehr hoch und damit um knapp 2 Prozentpunkte höher als im Jahr zuvor bei der Überprüfung auf der 8. Schulstufe und nur geringfügig niedriger als bei den bisherigen Standardüberprüfungen auf der 4. Schulstufe. 3,5 % der Zielgruppe konnten nicht erreicht werden, weil sie am Testtag (i. d. R. wegen Krankheit) abwesend waren und entweder für ihre Klasse kein Nach- test notwendig war oder sie auch bei diesem abwesend waren.
Tabelle 2: Teilnahmequote bei der Standardüberprüfung in Österreich
2.4 Testablauf und Testverfahren
Bei der Standardüberprüfung sollen die Kompetenzen aller Schüler/innen unter den gleichen Rahmenbedin- gungen getestet werden, damit die Ergebnisse objektiv vergleichbar sind. Aus diesem Grund sind die Testabläufe durch schriftliche Testanweisungen standardisiert. Das heißt, dass der Testablauf, die Arbeitsanweisungen sowie die Testzeiten genau vorgegeben werden und die Testleiter/innen dafür sorgen müssen, dass die Durch- führungsregeln in der Praxis strikt eingehalten werden. Diese Standardisierung setzt eine Schulung jener Per- sonen voraus, die die Tests administrieren.
Die Standardüberprüfung wurde meist von Lehrerinnen und Lehrern der eigenen Schule geleitet (= interne Test- leitung), allerdings (sofern möglich) nicht von der Mathematik-Lehrkraft der betroffenen Klassen. Um einen Test leiten zu können, wurden die Lehrpersonen im Rahmen einer Fortbildungsveranstaltung an der regionalen Pä- dagogischen Hochschule oder in Form einer Online-Schulung in der standardisierten Administration von Tests sowie der speziellen Vorgehensweise in Mathematik geschult.
Als nationale Qualitätssicherungsmaßnahme wurden 7 % der Klassen per Zufall ausgewählt und von einer externen Testleitung getestet. Diese Vorgehensweise diente dazu, eventuelle Unterschiede in den Testbedin- gungen festzustellen. Externe Testleiter/innen sind geschulte Lehrpersonen, die den Test nicht an der eigenen Schule, sondern an einer anderen Schule durchführen.
Als Maßnahme der Qualitätssicherung bei der Durchführung der Standardüberprüfung wurde in 3 % aller Klas- sen zusätzlich zur internen oder externen Testleitung eine beobachtende Qualitätsprüferin/ein beobachtender Qualitätsprüfer eingesetzt. Qualitätsprüfer/innen sind geschulte Personen mit Testerfahrung, die für die Beob- achtung und Protokollierung der Abläufe zuständig sind. Durch ihren Beitrag kann beurteilt werden, inwieweit in dieser Stichprobe Abweichungen vom standardisierten Vorgehen oder Probleme bei der Testdurchführung auf- treten und so auf die Güte der standardisierten Vorgehensweise in ganz Österreich geschlossen werden.
Bei der Überprüfung der Kompetenzen in Mathematik wurden schriftliche Verfahren („Papier-und-Bleistift-Tests“) eingesetzt. Jede Schülerin/jeder Schüler bearbeitete bei der Überprüfung zwei Testhefte zu je 40 Minuten. Um eine möglichst breite Abdeckung der Kompetenzbereiche auf Schul- und Systemebene zu gewährleisten, wur- den mehrere Testformen eingesetzt. Dies erhöht die Aussagekraft der Ergebnisse und verhindert das Abschrei- ben. Die Vergleichbarkeit verschiedener Testformen wurde durch sogenannte Link-Items, also Aufgaben, die in mehreren Testformen an unterschiedlichen Positionen vorkamen, gewährleistet. Zudem hatten alle Testformen etwa den gleichen Schwierigkeitsgrad. Jede Schülerin/jeder Schüler bearbeitete ca. 70 Items (= Testaufgaben).
Zu testen (Schüler- population)
Ab- wesend
Getestete Schüler/innen Anzahl Prozent 76.447 2667 73.780 96,5 %
Im Rahmen der Überprüfungen wurden Items mit unterschiedlichen Antwortformaten (offene, halboffene, Multi- ple-Choice-Items und Richtig-falsch-Items) eingesetzt. Bei fast der Hälfte aller in der Standardüberprüfung ein- gesetzten Items handelte es sich um halboffene bzw. offene Antwortformate, wobei es geringe Schwankungen zwischen den Testformen gab.
Abbildung 6 zeigt den Ablauf der Standardüberprüfung 2018. Die Standardüberprüfung begann am Testtag in der Regel mit dem Beginn des Vormittagsunterrichts und dauerte insgesamt – inklusive zweier Pausen – gut zwei Stunden. Die Bearbeitungszeit der einzelnen Testteile war von der Testleitung exakt einzuhalten.
Abbildung 6: Testablauf
Als letzten Teil der Überprüfung bearbeiteten die Schüler/innen einen Fragebogen, welcher verschiedene Aspekte schulischer Lern- und außerschulischer Lern- und Lebensbedingungen erfasste. Um die Belastung der Schüler/innen möglichst gering zu halten, wurde darüber hinaus ein Elternfragebogen eingesetzt. Gemeinsam mit dem von der Schulleitung ausgefüllten Schulfragebogen und Angaben aus Lehrerfragebögen von den jewei- ligen Mathematik-Lehrpersonen liefern die erhobenen Daten wichtige Kontextinformationen zur Interpretation und Erklärung der Ergebnisse. Die Inhalte der Fragebögen wurden mit den Schulpartner-Vertretungen ab- gestimmt. Die eingesetzten Fragebögen und deren Inhalte (Themenfelder) können unter https://www.bifie.at/
material/ueberpruefung-der-bildungsstandards/erhebungsmaterialien-und-frageboegen eingesehen werden.
2.5 Die Aufbereitung der Daten
Bevor die Daten zur Berechnung der Ergebnisse für die Berichterstattung sowie die einzelnen Rückmeldungen verwendet werden konnten, war eine umfangreiche Datenerfassung und -aufbereitung notwendig. Die in der Überprüfung gewonnenen Daten wurden auf zwei verschiedene Arten verarbeitet.
Bei Items mit geschlossenem Antwortformat (z. B. Multiple-Choice- oder Richtig-falsch-Items) wurde auto- matisch erfasst, ob die richtige Antwort ausgewählt wurde.
Items mit halboffenem oder offenem Antwortformat, bei denen die Schüler/innen eine Antwort selbst formu- lieren (z. B. ein Wort oder eine Phrase bzw. kürzere oder längere Textteile und Texte), wurden von Lehre- rinnen und Lehrern sowie Studierenden, die vom BIFIE geschult wurden, anhand vorgegebener Kriterien bewertet.
01
Begrüßung &
Erklärungen (ca. 10 min)
Pause (ca. 10 min) Pause
(ca. 10 min)e Fragebogen
(ca. 20 min)
02
05 03 06
04
Testablauf
Testteil 1 (40 min)
Testteil 2 (40 min)
