Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen

(1)

Bildungsstandardüberprüfungen

Technische Dokumentation – BIST-Ü

Team Rückmeldung & Kontextbefragung

(2)

Rückmeldungen und Berichte zu den Bildungsstandardüberprüfungen Technische Dokumentation – BIST-Ü

BIFIE I Department Bildungsstandards & Internationale Assessments (BISTA) 2., überarbeitete und aktualisierte Auflage, Salzburg 2016

Der Text sowie die Aufgabenbeispiele dürfen für Zwecke des Unterrichts in österreichischen Schulen sowie von den Pädagogischen Hochschulen und Universitäten im Bereich der Lehrer aus-, Lehrerfort- und Lehrerweiterbildung in dem für die jeweilige Lehrveranstaltung erforderlichen Umfang von der Homepage (www.bifie.at) heruntergeladen, kopiert und verbreitet werden. Ebenso ist die Vervielfältigung der Texte und Aufgabenbeispiele auf einem anderen Träger als Papier (z. B. im Rahmen von Power-Point-Präsentationen) für Zwecke des Unterrichts gestattet.

(3)

3 1 Ergebnisrückmeldung als Ausgangspunkt zur Qualitätsentwicklung

3 2 Intention und Zweck der Ergebnisrückmeldungen 4 2.1 Rückmeldungen für die standortbezogene Qualitätsentwicklung 5 2.2 Rückmeldung als System-Monitoring

6 3 Inhalte und Aufbau der Ergebnisrückmeldungen

6 3.1 Rückmeldungen an Schulleiter/innen, Lehrer/innen und Schüler/innen 7 3.2 Berichte an die Schulaufsicht

7 3.3 Ergebnisberichte an politische Entscheidungsträger/innen 8 3.4 Grundsätze der Ergebnisaufbereitung

8 4 Ergebnisrückmeldungen: Prozessablauf und Umsetzung 8 4.1 Konzeption

9 4.2 Grafikaufbereitung und Entscheidungsregeln 10 4.3 Datenaufbereitung

11 4.4 Berichtaufbereitung

11 4.5 Distribution der Rückmeldungen

14 5 Hotline

15 6 Anhang

16 6.1 Allgemeiner Prozessablauf der Rückmeldung 16 6.2 Mathematik, 8. Schulstufe, 2012

17 6.3 Mathematik, 4. Schulstufe, 2013 18 6.4 Englisch, 8. Schulstufe, 2013 19 6.5 Deutsch, 4. Schulstufe, 2015

21 Literaturverzeichnis

(4)

(5)

1 Ergebnisrückmeldung als Ausgangspunkt zur Qualitätsentwicklung

¹

Das BIFIE bietet mit den Rückmeldungen und Berichten zu den Bildungsstandardüberprüfungen in den Domänen Mathematik und Deutsch/Lesen/Schreiben auf der 4. Schulstufe sowie in Mathematik, Deutsch und Englisch auf der 8. Schulstufe eine umfangreiche Datengrundlage, die wichtige Impulse für mögliche Veränderungsmaßnahmen für verschiedene Akteure im österreichischen Bildungssystem liefern kann. Der Schwerpunkt liegt bei der Standardüberprüfung – im Gegensatz zu PISA oder anderen internationalen Studien – darauf, Schulen konkrete Rückmeldung über die von ihren Schülerinnen und Schülern erzielten Ergebnisse zu geben. In Kombination mit schulinternem Wissen, welches für gezielte Qualitätsentwicklungsprozesse in den Schulen Voraussetzung ist, können geeignete Maßnahmen abge- leitet und konkrete Veränderungen in Gang gesetzt werden (Altrichter 2010). Für die getroffenen Maß- nahmen besteht gemäß der Verordnung über Bildungsstandards im Schulwesen (BGBl. II Nr. 185/2012) Dokumentations- und periodische Evaluationspflicht.

Helmke (2009) beschreibt Qualitätsentwicklung in seinem Modell als einen mehrphasigen Prozess, der aus Rezeption (Verstehen der Ergebnisrückmeldung), Reflexion (Identifizieren von Handlungsfeldern und Ableiten von Maßnahmen), Aktion (Umsetzung der Maßnahmen) und Evaluation (Überprüfung der Wirksamkeit der Maßnahmen) besteht. Alle vier Phasen sind beeinflusst durch die Rahmenbedin- gungen – individuelle Merkmale der jeweiligen Akteure, Merkmale der Schule sowie schulexterne Bedin- gun gen. Eine erneute externe Überprüfung in der jeweiligen Domäne trägt zur Evaluation neu initiier- ter Maßnahmen bei und hilft, den Erfolg dieser Maßnahmen zu beurteilen. Nähere Informationen zu diesem Qualitätszyklus sind in allen Bildungsstandardrückmeldungen für Lehrer/innen und Schulleiter/

innen sowie in den Berichten für die einzelnen Bundesländer und Österreich insgesamt zu finden, wie beispielsweise im Bundesergebnisbericht der Standardüberprüfung in Mathematik 2013 auf der 4. Schul- stufe (Schreiner & Breit, 2014b).

Für die systematische Schul- und Unterrichtsentwicklung ist es erforderlich, die Ergebnisse verschiedenen Ebenen rückzumelden. Die einzelne Schule und damit das Handeln der einzelnen Schulleiter/

innen und Lehrer/innen steht im Zentrum der Ergebnisrückmeldung, denn Maßnahmen zur Sicherung und Verbesserung der Schul- und Unterrichtsqualität und die damit einhergehenden Verbesserungen der Schülerleistungen (Kompetenzen) werden am jeweiligen Schulstandort realisiert und müssen dort gesteuert und getragen werden. Eine Berichtslegung über zentrale Ergebnisse erfolgt außerdem auf den Ebenen des Systems (bundesland- und österreichweit). Die Phasen der Ergebnisverwertung nach Helm- ke (2009) – Rezeption, Reflexion, Aktion – lassen sich auch auf diese Ebenen übertragen.

2 Intention und Zweck der Ergebnisrückmeldungen

Die Ergebnisrückmeldung auf verschiedenen Ebenen des Schulsystems erlaubt eine weitreichende Nut- zung der Daten aus den Standardüberprüfungen. Zentral sind die Rückmeldungen für standortbezogene Qualitätsentwicklung sowie die aggregierten Berichte für das System-Monitoring auf Landes- und Bundes- ebene. Daneben erhalten auch Schüler/innen ein individuelles Feedback, das Auskunft über die persön- liche Lernentwicklung gibt (vgl. Abbildung 1).

1 Die Kapitel 1–3 lehnen sich stark an die Veröffentlichung von Breit, Paasch & Pinwinkler (2012) an.

(6)

Abbildung 1: Umsetzung der Ergebnisrückmeldung²

2.1 Rückmeldungen für die standortbezogene Qualitätsentwicklung

Zahlreiche Forschungsergebnisse (z. B. Bonsen, 2009; Schmich & Schreiner, 2009; Köller & Köller 2007; Lohmann, 2013) belegen die Bedeutung der Schulleitung im Qualitätsentwicklungsprozess. Um einen solchen Prozess steuern zu können, ist vonseiten der Schulleitung zunächst eine sachliche Beschäf- tigung (Rezeption) mit den Ergebnissen erforderlich. Bei der Analyse und Reflexion der schuleigenen Ergebnisse müssen Gegebenheiten und Besonderheiten des Standorts berücksichtigt werden. Ergebnis- se auf Unterrichtsgruppenebene dienen im Wesentlichen den innerschulischen Analysen, wobei hier schulinterne Gegebenheiten besonders zu berücksichtigen sind.

Mit den Informationen aus den Schulberichten können folgende Fragen analysiert werden:

In welchem Ausmaß ist es gelungen, den Schülerinnen und Schülern Grundkompetenzen nachhaltig zu vermitteln?

Gibt es an der Schule besondere Stärken und Schwächen innerhalb eines Fachs?

Wie schneidet die Schule im Vergleich zu anderen ab?

Ergebnisse sind multikausal bedingt, d. h., sie hängen von sehr unterschiedlichen Faktoren und ihrem Zusammenspiel ab:

Schulebene (z. B. Standortfaktoren und Ausrichtung der Schule etc.),

Gruppenebene (z. B. Klassenkomposition, Unterrichtsentfall, Lehrerwechsel, pädagogische Konzepte etc.) und

Schülerebene (z. B. Leistungspotenzial, kultureller und sozioökonomischer Hintergrund der Schüle- rinnen und Schüler, Verhaltensauffälligkeiten etc.).

2 Seit der Überprüfung D4 2015 erfolgt die Rückmeldung für die Schulaufsicht auf Bildungsregions- und Landesebene.

(7)

Zur Unterstützung bei der sachlichen Analyse und objektiven Interpretation der Ergebnisse aus den Stan- dardüberprüfungen und bei einer faktenbasierten Ergebnisaufbereitung (z. B. Erstellen eines Stärken- Schwächen-Profils, Identifizierung von Handlungsfeldern) können Schulleiter/innen Rückmeldemode- ra torinnen und -moderatoren über die Pädagogischen Hochschulen anfordern. Informationen zu Ansprech personen werden in den Schulberichten bekannt gegeben. Rückmeldemoderatorinnen und -mo de rato ren helfen den Schulen dabei, sich der Chancen der Ergebnisrückmeldung bewusst zu werden und Qualitätsentwicklungspotenziale zu erkennen.

Die Schulleitung hat die Aufgabe, den ersten Teil des Schulberichts (vgl. Kap. 3.1), der die zusammenfas- senden Ergebnisse auf Schulebene enthält, an die Schulpartner zu übermitteln und mit ihnen zu bespre- chen (BMB, 2016). Schulleiter/innen haben zudem den Auftrag, im Anschluss an die Ergebnisanalyse standortspezifische Schul- und Unterrichtsentwicklung zu initiieren. Der gesamte Schul- und Unter- richtsentwicklungsprozess ist zu dokumentieren und im Rahmen der Rechenschaftspflicht der Schulauf- sicht zu kommunizieren (BMB, 2016).

Die Rückmeldung auf Unterrichtsgruppenebene bietet Lehrerinnen und Lehrern die Möglichkeit, den per- sönlichen Unterricht zu reflektieren (Rieß & Zuber 2014, Zuber, Rieß & Bruneforth 2012). Stärken und Schwächen innerhalb der jeweiligen Unterrichtsgruppe sollen mit den eigenen Erwartungen – unter Be- rücksichtigung der jeweiligen Situation am Schulstandort – abgeglichen werden. Durch den Austausch im Kollegium oder in Fachgruppen kann der Ertrag für die einzelne Lehrerin/den einzelnen Lehrer er- höht werden. Im Mittelpunkt steht der summative Lernertrag über eine vierjährige Lernperiode sowie die Reflexion darüber, ob sich Schwerpunktsetzungen, pädagogische Konzepte etc. in den Stärken-Schwä- chen-Profilen niederschlagen. Ferner bietet die Ergebnisrückmeldung an Lehrer/innen die Möglichkeit, über den eigenen Tellerrand zu blicken (Altrichter & Kanape-Willingshofer, 2012) und den Output der eigenen Schüler/innen mit einer Außennorm (kriterial, sozial, fair; siehe dazu Kap. 3) zu vergleichen (z. B. Berkemeyer & van Holt 2010).

Auf Schülerebene bieten die individuellen Rückmeldungen ein Feedback zum persönlichen Lernstand.

Schülerinnen und Schüler können die Ergebnisse mit ihren eigenen Selbsteinschätzungen vergleichen.

Im Idealfall werden realistische Rückschlüsse – auch im Hinblick auf zukünftige Anforderungen in Schule und Beruf – gezogen und als Anregung für weitere Lernprozesse berücksichtigt.

Die Schulaufsicht steht im Zusammenhang mit der Ergebnisrückmeldung in einem Spannungsverhältnis.

Einerseits muss sie dafür Sorge tragen, dass man sich an den jeweiligen Schulen mit der Ergebnisrückmel- dung auseinandersetzt und am Standort Qualitätsentwicklungsprozesse in Gang setzt (Kontrolle). Ande- rerseits hat die Schulaufsicht die fürsorgende Aufgabe, Schulen Unterstützung in Form von Beratungen und Zielvereinbarungen und/oder Bereitstellung und Zuweisung von Ressourcen anzubieten. Des Wei- teren ist die Schulaufsicht angehalten, relevante Landesergebnisse an die Pädagogischen Hochschulen zu kommunizieren, um ein bedarfsgerechtes Fortbildungsangebot für die schulische Entwicklungsarbeit konzipieren und entsprechend bereitstellen zu können (Zuber, Rieß & Bruneforth 2012).

2.2 Rückmeldung als System-Monitoring

Die Ergebnisse auf Landes- und Bundesebene beinhalten wichtige Informationen für den Bereich des System- Monitorings, denn an ihnen kann abgelesen werden, wie gut Schulen ihren Auftrag erfüllen, nachhaltig Grundkompetenzen zu vermitteln und Chancengerechtigkeit anzustreben. Diese Informationen dienen als Grundlage für die Weiterentwicklung des Schulsystems sowie der Lehreraus- und -fortbildung.

Durch sich wiederholende Überprüfungen wird zudem eine Basis dafür geschaffen, die Entwicklung des Outputs des Bildungssystems (Schülerkompetenzen) auf den beiden Schulstufen über die Zeit hinweg zu verfolgen und in Form von Trendanalysen zu kommunizieren (Quasilängsschnitt bzw. wiederholte Querschnittsuntersuchung). Dadurch wird eine evidenzbasierte Steuerung des Schulsystems ermöglicht.

(8)

3 Inhalte und Aufbau der Ergebnisrückmeldungen

Ergebnisrückmeldungen werden für unterschiedliche Akteursebenen im österreichischen Bildungssystem erstellt, erfüllen deswegen jeweils unterschiedliche Funktionen und unterscheiden sich in der inhalt- lichen und strukturellen Gestaltung. Bezogen auf Inhalte und Aufbau lassen sie sich in Rückmeldungen an Schulleiter/innen, Lehrer/innen und Schüler/innen sowie in Berichte an die Schulaufsicht und Ergebnis- berichte an politische Entscheidungsträger/innen untergliedern.

3.1 Rückmeldungen an Schulleiter/innen, Lehrer/innen und Schüler/innen

Ziel der Ergebnisrückmeldungen an die Schulleiter/innen und die Lehrer/innen ist die Anregung stand- ortbezogener Qualitätsentwicklung (vgl. Abbildung 1). Schulleitung und Lehrpersonen können die Er- gebnisse ausschließlich online mit einem Zugangscode abrufen, der postalisch (per Einschreiben) an die Schulen ergeht.

Die Rückmeldung an die Schulleiter/innen wird als Schulbericht bezeichnet und besteht aus zwei we- sentlichen Teilen – dem Schulbericht Teil 1. Rückmeldung an die Schulleitung und die Schulpartner sowie dem Schulbericht Teil 2. Ergänzung für die Schulleitung, Ergebnisse der Unterrichtsgruppen.³

Der Schulbericht Teil 1. Rückmeldung an die Schulleitung und Schulpartner beinhaltet die aggregierten Ergebnisse aller getesteten Schüler/innen der Schule. Die Ergebnisse werden dabei nach drei Gesichts- punkten dargestellt:

Kriterialer Vergleich: Die Ergebnisse der Schüler/innen werden auf ein vorab definiertes Kriterium, in der Regel die Bildungsstandards, bezogen. Der Grad der Kompetenzerreichung der Schüler/innen wird mittels vier Kompetenzstufen⁴ berichtet. Diese geben an, ob die Schüler/innen die Bildungsstan- dards „nicht erreicht“ (unter Stufe 1), „teilweise erreicht“ (Stufe 1), „erreicht“ (Stufe 2) oder „über- troffen“ (Stufe 3) haben. Für die Schule wird ausgewiesen, wie groß der Anteil der Schüler/innen auf den verschiedenen Kompetenzstufen ist. Die Überprüfung der Kompetenzen in Englisch basiert auf dem Gemeinsamen Europäischen Referenzrahmen für Sprachen (GERS), der in Österreich sowohl Grundlage des Lehrplans für die lebenden Fremdsprachen als auch der Verordnung der Bildungsstan- dards ist. Der GERS beschreibt umfassend, was zu lernen ist, um eine Sprache für kommunikative Zwecke benutzen zu können, und welche Kenntnisse und Fertigkeiten dementsprechend entwickelt werden müssen. Um den Grad der Kompetenzerreichung darzustellen, werden im Fach Englisch, basierend auf dem GERS, die Referenzniveaus „A1 oder darunter“, „A2“ und „B1 oder darüber“

rückgemeldet.⁵

Sozialer Vergleich: Als Vergleichswert dient das durchschnittliche Ergebnis aller Schüler/innen auf der Punktskala (österreichweiter Vergleich).

Fairer Vergleich: Als Referenzwert wird für die Schulen ein Erwartungsbereich ausgewiesen, der die lernrelevanten Rahmenbedingungen der Schule berücksichtigt, die von der Schule selbst aber nicht direkt beeinflussbar sind⁶ (Standortfaktoren der Schule sowie demografische und sozioökonomische Merkmale der Schülerpopulation). Im fairen Vergleich werden also Schulen miteinander verglichen, bei denen das Lernen und Lehren unter ähnlichen Bedingungen stattfindet.

3 Die Darstellungsformen und Informationen können je nach Anforderung der jeweiligen Domäne und Schulstufe von Standardüberprü- fung zu Standardüberprüfung leicht variieren. Musterrückmeldungen der bisherigen Überprüfungen auf Schul-, Unterrichtsgruppen- und Schülerebene sowie für die Schulaufsicht mit fiktiven Daten bzw. Ergebnissen finden sich unter: https://www.bifie.at/musterrueckmeldung 4 Ein Expertengremium legt die Kompetenzstufen im Rahmen von Standard-Settings fest. Detaillierte Informationen zum Standard-Setting

finden Sie auf der BIFIE-Website unter: https://www.bifie.at/node/2192 (Mathematik 8, Freunberger, 2013) bzw. https://www.bifie.at/

node/2430 (Mathematik 4, Bazinger, Freunberger & Itzlinger-Bruneforth, 2014).

5 Informationen zum Standard-Setting für Englisch, 8. Schulstufe, finden Sie unter: https://www.bifie.at/node/2463 (Freunberger, Bazinger,

& Itzlinger-Bruneforth, 2013).

6 Die Berechnung des Erwartungsbereichs erfolgt mittels multipler Regression (George & Robitzsch, 2014). In jeweiligen Rückmeldungen zu den Standardüberprüfungen variieren die strukturellen und soziodemografischen Merkmale geringfügig.

(9)

Diese Vergleiche werden sowohl für das Fach als Ganzes (in Mathematik und Englisch) und soweit möglich auch für die einzelnen Kompetenzbereiche angegeben. Des Weiteren werden Informationen zur Streuung/Heterogenität der Schülerleistungen sowie Gruppenvergleiche nach Geschlecht, Migra- tionshintergrund und seit der Überprüfung 2013 auch nach deutscher vs. nichtdeutscher Erstsprache bereitgestellt. Für die Berechnung dieser Kennwerte vgl. Freunberger, Robitzsch & Pham (2014).

Der Schulbericht Teil 2. Ergänzung für die Schulleitung, Ergebnisse der Unterrichtsgruppen⁷ enthält die Er- gebnisse der einzelnen Unterrichtsgruppen und stellt ebenso die Testergebnisse der jeweiligen Domäne gesamt (in Mathematik und Englisch) sowie die einzelnen Kompetenzbereiche dar. Die Leistungen der Unterrichtsgruppen werden entweder in Form von Kompetenzprofilen (in Mathematik) dargestellt oder dem Österreich-Schnitt, den Leistungen der Schule oder einem Erwartungsbereich für die Unterrichts- gruppe (fairer Vergleich) gegenübergestellt.

Beide Teile des Schulberichts sowie das Glossar, in dem weiterführende Informationen zu verwendeten Begriffen gegeben werden, können als jeweils eigenständiges PDF-Dokument online abgerufen, ausge- druckt und abgespeichert/archiviert werden.

Die Rückmeldung an die Lehrer/innen verfügt über eine strukturell sehr ähnliche Aufbereitung der Er- gebnisse wie der Schulbericht Teil 1. Rückmeldung an die Schulleitung und Schulpartner, jedoch ausschließ- lich für die jeweilige Unterrichtsgruppe. Darüber hinaus werden zusätzliche Streuungsinformationen (im Falle leistungsgruppengemischter Gruppen auch über die einzelnen Leistungsgruppen) gegeben. Als Referenzwerte dienen z. B. der Schulmittelwert, der Österreich-Schnitt oder der Erwartungsbereich für die Unterrichtsgruppe (fairer Vergleich).

3.2 Berichte an die Schulaufsicht

Die Landes- und Bezirksschulinspektorinnen und -inspektoren bzw. seit 2015 die Pflichtschulinspek- torinnen und -inspektoren erhalten zur Information jeweils den Schulbericht Teil 1. Rückmeldung an die Schulleitung und Schulpartner der Schulen ihres Aufsichtsbereichs sowie eine tabellarische Zusammenfas- sung ausgewählter Ergebnisse (seit der Überprüfung 2015 auch als Excel-Datei). Die Landesaufsichts- berichte der Landesschulinspektorinnen und -inspektoren wurden für Mathematik auf der 8. Schulstufe durch einen Statistikteil ergänzt, der die Ergebnisse verschiedener Schülergruppen zusammenfasst sowie Zusammenhänge zwischen Leistung und Rahmenbedingungen im Bundesland (aber immer nur der jeweiligen Schulart) aufzeigt und demnach bereits dem System-Monitoring zugeordnet werden kann. Seit den Überprüfungen 2013 wurde allen Schulaufsichtsbeamtinnen und -beamten gleichermaßen der gesamte Landesergebnisbericht des Bundeslands übermittelt, der alle Schularten enthält. Alle Berichte an die Schul- behörden enthalten dabei keine auf bestimmte Schüler/innen rückführbaren Ergebnisse. Zudem sind die Ergebnisse in den Schulaufsichtsberichten in der Regel nicht auf einzelne Lehrer/innen rückführbar. Die Rückmeldung an die Schulaufsicht erfolgt ebenfalls online mittels eines Zugangscodes, der postalisch (per Einschreiben) an die Behörde ergeht. In M8 erfolgte zusätzlich eine postalische Zusendung der gedruckten Berichte nach Veröffentlichung des Bundesergebnisberichts im Dezember 2012.

3.3 Ergebnisberichte an politische Entscheidungsträger/innen

Die für das regionale Schulwesen verantwortlichen amtsführenden Präsidentinnen und Präsidenten der Landesschulräte/des Stadtschulrats in den neun Bundesländern erhalten jeweils einen zusammenfassen- den Landesergebnisbericht der Schülerpopulation des jeweiligen Bundeslands. Der Bundesergebnis- bericht enthält die bundesbezogenen, statistisch zusammengefassten Ergebnisse der Schüler/innen. Er wird vom BIFIE erstellt und dem zuständigen Bundesministerium übermittelt (vgl. Abbildung 1). Lan- des- und Bundesergebnisberichte werden auch auf der BIFIE-Webseite veröffentlicht.

7 Die Auswertung erfolgt auf Basis jener Unterrichtsgruppen, die die Schulleitung dem BIFIE gemeldet hat. Die Unterrichtsgruppe ist jene Einheit, in der die Schüler/innen gemeinsam unterrichtet wurden. Die Namen (Kürzel) für die einzelnen Unterrichtsgruppen werden vor der Überprüfung von der Schulleitung festgelegt und können nur von dieser der entsprechenden Lehrperson zugeordnet werden.

(10)

3.4 Grundsätze der Ergebnisaufbereitung

Die Ergebnisse werden in Form von PDF-Dokumenten zur Verfügung gestellt. Ein lineares Lesen ist empfehlenswert, da die Anordnung der Ergebnisse einer gewissen Logik folgt, die für die einzelnen Über- prüfungen individuell festgelegt wird. Das Einführungskapitel der Berichte enthält jeweils allgemeine Informationen zur Standardüberprüfung und Ergebnisrückmeldung, in den weiteren Kapiteln werden die einzelnen Ergebnisse grafisch dargestellt. Dabei folgen die Rückmeldungen dem Prinzip „Vom Allge- meinen zum Speziellen“ (Mathematik), indem zunächst die Ergebnisse des gesamten Unterrichtsfachs, später die Ergebnisse der einzelnen Kompetenzbereiche beschrieben werden. In den Sprachen wird der Fokus auf die Kompetenzbereiche gelegt und damit eine abweichende Berichtsstruktur verwendet. Der Aufbau wird dementsprechend auch im Einführungskapitel erläutert.⁸

4 Ergebnisrückmeldungen: Prozessablauf und Umsetzung

Im folgenden Kapitel werden sämtliche Prozesse der Ergebnisrückmeldungen im Zeitverlauf beschrieben.

4.1 Konzeption

Zur Konzeptionsphase gehört es, jeweils einen stimmigen, aber fiktiven Musterbericht (Prototyp) für jedes Fach und jede Ebene zu erstellen, auf dessen Basis im Rahmen von Rückmelde-Arbeitsgruppen gemeinsam mit Vertreterinnen und Vertretern aus unterschiedlichen Fachteams des BIFIE und der Depart- mentleitung Umsetzungsmöglichkeiten diskutiert werden. Die Funktionen und Inhalte der Bildungs- standards und Standardüberprüfungen im österreichischen Schulwesen sind gesetzlich festgelegt (BGBl. I 25/2008, BGBl. II Nr. 185/2012). Diese gesetzlichen Vorgaben bilden auch die Rahmenbedingungen für die Konzeption der Rückmeldung.⁹

Die Hauptaufgaben in den Rückmelde-Arbeitsgruppen liegen in der Festlegung der Struktur – unter Einhaltung der groben Vorgaben – sowie in der Entscheidung, in welcher grafischen und textlichen Aufbereitung die entsprechenden Informationen umgesetzt werden sollen. Dabei wird sowohl auf die Relevanz der Inhalte für Schüler/innen, Lehrer/innen und Schulleiter/innen und auf Verständlichkeit für diese Zielgruppen sowie auf die statistische Umsetzbarkeit und eventuelle Grenzen aufgrund des Test- designs geachtet. In den Rückmelde-Arbeitsgruppen werden sowohl die statistischen Kennwerte heraus- gearbeitet als auch die grafischen Aufbereitungen sowie die entsprechenden Textpassagen der Berichte diskutiert und in wiederholten Reflexionsschleifen überarbeitet.¹⁰

Aufgrund der enormen Datenmengen werden die Rückmeldungen auf Schüler-, Gruppen-/Klassen- und Schulebene so standardisiert wie möglich konzipiert. Die jeweiligen Ergebnisse werden nur innerhalb der Grafiken, die nach der Konzeption programmiert werden, rückgemeldet. Allgemeine Texte in den Rück meldungen sowie Beschreibungen zu den Grafiken werden ergebnisunabhängig und standardisiert formuliert. Eine Ausnahme bildet die seit 2013 eingeführte Übersichtstabelle mit den wichtigsten Ergeb- nissen, die in leicht unterschiedlicher Form für Unterrichtsgruppen und Schulen zur Verfügung gestellt

8 Im ersten Erhebungsjahr wurden die Ergebnisse zusätzlich zur PDF-Aufbereitung auch auf der Onlineplattform dargestellt, aufgrund des bevorzugten Herunterladens der PDF-Berichte und des Aufwands in der Implementierung wurde aber in weiterer Folge darauf verzichtet.

In diesem Fall war keine zwingende Navigation für das Lesen der Berichte vorgegeben.

9 Weiterhin sind die Leitlinien für die Arbeit des BIFIE gesetzlich festgelegt (BGBl. I Nr. 25/2008 inkl. der Novellen). Für die Konzeption der Rückmeldungen sind unter anderem die ersten beiden Absätze des Paragrafen 3 dieses Gesetzes handlungsleitend. In Absatz 1 ist das BIFIE dazu angehalten, als leitenden Grundsatz „Objektivität und Unparteilichkeit sowie Transparenz“ zu beachten, aus Absatz 2 folgt die

„Anwendung von Methoden und Verfahren nach international anerkannten wissenschaftlichen Grundsätzen und Standards sowie deren Offenlegung“.

10 Im Zuge der Reflexionsschleifen während der Konzeptionsphase wird auch der Auftraggeber (BMB) eingebunden.

(11)

wird (2013 auf der Onlineplattform, seit 2015 im Ergebnisbericht). Diese Tabelle enthält für jede Ebene variable Texte (abhängig vom Ergebnis).

4.2 Grafikaufbereitung und Entscheidungsregeln

Steht nach der Reflexion in den Rückmelde-Arbeitsgruppen fest, wie die Grafiken der einzelnen Ergeb- nis rückmeldungen (Schüler-, Lehrer-, Schulrückmeldung, Schulaufsicht, Landes- und Bundesergebnis- bericht) genau aussehen sollen, werden sie programmiert. Dies erfolgt mittels einer am BIFIE dafür programmierten Grafik-Konfigurationssoftware („Konfigurator“). Sie dient zum Erstellen (Konfigurie- ren) der Grafiken, die im Anschluss mit den entsprechenden Daten zusammengeführt und automatisch generiert werden. Um einen reibungslosen Ablauf in der Programmierung zu gewährleisten, wird für alle Grafiken detailliert angegeben, in welcher Form sich welche Werte auf die Grafik auswirken (Variablen- bezeichnungen, Darstellungsregeln, Entscheidungsregeln).

Bei der Grafikkonzeption wird berücksichtigt, dass einzelne Schüler/innen nicht identifizierbar sein dür- fen. Diese Maßgabe und weitere Bedingungen fließen in die Entscheidungsregeln ein. Entscheidungs- regeln gibt es nur für die Onlinerückmeldungen, die Systemebene erlaubt keine veränderten Darstellun- gen (und benötigt diese wegen des hohen Aggregationsgrads auch nicht). In den Entscheidungsregeln wird explizit definiert, wann Änderungen in den Darstellungen nötig sind, um

(1) die Anonymität der Schüler/innen zu gewährleisten,

(2) die Aussagekraft statistischer Berechnungen sicherzustellen und

(3) auch bei sehr vielen oder sehr wenigen Schülerinnen und Schülern die Übersichtlichkeit der Darstellungen beizubehalten.

Folgende Entscheidungsregeln wurden bisher definiert:

Fall Konsequenzen Grund

Weniger als 5 Schüler/innen (2012) bzw.

weniger als 2 Schüler/innen (seit 2013) in der Schule/Unterrichtsgruppe

Mittelwerte entfallen, Stärken- Schwächen-Profile entfallen

Statistische Aussagekraft

Weniger als 5 Schüler/innen in der Schule/

Unterrichtsgruppe

Subgruppengrafiken entfallen (2012 &

2013), fairer Vergleich entfällt

Weniger als 8 Schüler/innen in der Schule/

Unterrichtsgruppe

Kennzeichnung der mittleren 75 % (bzw.

seit 2015 die Angabe in der Legende) entfällt

2012 & 2013: Weniger als 8 Schüler/innen in der Schule

Schüleranzahlen stehen bei Kompetenz- stufenverteilung direkt im Balken- diagramm

Übersichtlichkeit

2012: 2–4 Schüler/innen in einer Subgruppe Mittelwert entfällt bei Subgruppengrafik, Streupunkte werden dargestellt

Nur 1 Schüler/in in einer Subgruppe Subgruppengrafik entfällt Anonymität der Schüler/innen Nur eine Unterrichtsgruppe in der Schule Schulbericht Teil 2 entfällt Übersichtlichkeit (Redundanz) 2012: mind. 5 Unterrichtsgruppen an der

Schule

Grafiken im Schulbericht Teil 2 um 90°

gedreht

Übersichtlichkeit

Alle Schüler/innen der Unterrichtsgruppe gehören derselben Leistungsgruppe an

Grafiken nach LG entfallen Übersichtlichkeit

Wenn unterschiedliche Leistungsgruppen (LG) in der Unterrichtsgruppe, aber Schüler/

innen eindeutig identifizierbar (z. B. in einer LG nur 1 Schüler/in oder mind. 1 Schüler/in nicht eindeutig einer LG zugeordnet)

Grafiken nach LG entfallen Anonymität der Schüler/innen

Nur eine Schülerin/ein Schüler in der Schule bzw. Unterrichtsgruppe getestet

Sämtliche Grafiken entfallen (kein Ergebnisbericht)

Anonymität der Schüler/innen

(12)

Fall Konsequenzen Grund 2013: Nur 1 Schüler/in hat den Fragebogen

ausgefüllt (weil vorzeitiger Testabbruch aller anderen)

Tabellen 2–5 entfallen Anonymität der Schüler/innen

Seit 2013: Min. 1 Schüler/in wurde nicht eindeutig einer Unterrichtsgruppe zugeordnet

Schulbericht Teil 2 entfällt Anonymität der Schüler/innen

Bei Grafiken, die Streupunkte enthalten:

Durch die Anordnung der Streupunkte können einzelne Schüler/innen identifiziert werden.

Streupunkte entfallen Anonymität der Schüler/innen

Schüler/in wäre identifizierbar durch nur einmalig vorkommende Kombination von Geschlecht und Migrationshintergrund

Streupunkte entfallen in der Geschlech- tergrafik, außer eine der beiden Grafiken (Geschlecht oder Migration) entfällt ohnehin, weil nicht genügend Schüler/

innen pro Subgruppe

Anonymität der Schüler/innen

Tabelle 1: Entscheidungsregeln

In verallgemeinerter Form sind diese Entscheidungsregeln in den jeweiligen Berichten nachzulesen. Ab- hängig von den technischen Funktionen des Konfigurators muss individuell entschieden werden, ob die Standardgrafik zu einer veränderten Darstellung in der Lage ist oder ob eine eigene Variantengrafik die Standardgrafik ersetzen muss.

Sämtliche Grafiken werden nach der Programmierung kontrolliert und getestet. Die Kontrolle erfolgt einerseits im Hinblick auf das Layout (Positionierung der einzelnen Grafikelemente, Rechtschreibung usw.) und andererseits im Hinblick auf die Funktionalität der Variablen (Werden die richtigen Variablen verwendet, die Grafikelemente je nach Variablenwert richtig positioniert und die Entscheidungsregeln korrekt berücksichtigt?). Dabei wird auch darauf geachtet, Extremwerte und ungewöhnliche Datenkon- stellationen zu testen und ggf. die Darstellung anzupassen (z. B. „Abschneiden“ des Vertrauensintervalls an den Rändern der Skala; Auslassungspunkte mit Angabe der genauen Häufigkeit bei sehr vielen Streu- punkten in einer Reihe).

Bei den Überprüfungen 2012 und 2013 wurden die Beschreibungstexte zu den Grafiken auf Schüler-, Lehrer- und Schulebene ebenfalls in den Konfigurator eingegeben. Bei Variantengrafiken bestand die Option, den zugehörigen Text zu adaptieren, sodass dieser z. B. die Gründe für die veränderte Darstel- lung enthält. Seit 2015 werden die Beschreibungstexte fix gesetzt und nicht mehr in den Konfigurator eingegeben, da die Standardgrafiken so weit anpassungsfähig und flexibel sind, dass keine Variantengra- fiken mehr gebraucht werden.

4.3 Datenaufbereitung

Zunächst werden auf Grundlage der konzipierten Grafiken und Berichte die Variablen und deren Form, die für die Generierung der Rückmeldungen und Berichte benötigt werden, spezifiziert. Die im Zuge der Datenaufbereitung zur Verfügung gestellten Daten umfassen beispielsweise Leistungsdaten, Daten aus der Kontextbefragung (Freunberger, Robitzsch & Pham, 2014), Schuladressen oder Indikatorvariablen (nahm teil/nahm nicht teil, Gruppe ist eine gemischte Leistungsgruppe o. Ä.).

Ebenso wie sämtliche programmierten Grafiken werden auch die Datensätze vor der tatsächlichen Ver- wendung in einer internen Kontrollschleife so weit wie möglich auf Richtigkeit (Vollständigkeit, Form, Plausibilität, Konsistenz usw.) überprüft. Um die Daten einer möglichst umfassenden Prüfung zu unter- ziehen, werden vor den Checks einerseits sehr kleinschrittige Checklisten ausgearbeitet (Business-Rules), andererseits nach Bedarf auch (teil-)automatisierte Testtemplates entwickelt und erstellt. Nach diesen Datenchecks und allfälligen Überarbeitungs- und Kontrollschleifen werden die Datensätze in die Rück- meldedatenbank eingespeist, damit sie für die Generierung von Grafiken und Berichten zur Verfügung stehen.

(13)

4.4 Berichtaufbereitung

An der Aufbereitung der Berichte sind verschiedene – eng miteinander kooperierende – Teams am BIFIE beteiligt. Die technische Herausforderung bei den Schüler-, Lehrer- und Schulrückmeldungen besteht darin, Berichte zu erstellen, die sowohl fixe/gesetzte Textpassagen als auch variable Textbausteine und programmierte Grafiken mit Berücksichtigung von Entscheidungsregeln enthalten. Eine Spezifikation ist deshalb in folgenden Bereichen erforderlich:

Textspezifikation (Fixtext – gesetzte Textbausteine vs. variabler Text)

Anordnung der Grafiken und variablen Textfelder

Festlegung spezifischer Regeln für Grafikgrößen, Umbrüche etc.

Spezifische Regeln für die Ansicht auf der Rückmeldeplattform

Anhand der übermittelten Informationen werden die entsprechenden Berichte programmiert und zu- sammengestellt und in mehreren Schleifen intern kontrolliert.

Berichte auf Systemebene (Bundes- und Landesergebnisberichte sowie Schulaufsichtsberichte) enthalten ebenfalls programmierte Grafiken, die Texte dazu werden allerdings manuell gesetzt. Hierfür werden zum einen standardisierte Textpassagen verwendet, zum anderen werden im Bundesergebnisbericht in- dividualisierte Grafikbeschreibungen auf Basis der Ergebnisse hinzugefügt bzw. in den Landesergebnis- berichten landesspezifische Zusammenfassungen ergänzt.

Die textliche Konzeption der Online- und Systemberichte erfolgt in enger Abstimmung mit der Depart- ment leitung, außerdem werden Anregungen des Auftraggebers (BMB) berücksichtigt. Nach dem Lekto- rat werden die finalen Berichte in Abstimmung mit dem BMB durch die Departmentleitung freigegeben.

4.5 Distribution der Rückmeldungen

Im Anschluss an die allgemeine Ergebnispräsentation durch das zuständige Bildungsministerium¹¹ werden die Ergebnisse der Standardüberprüfungen den verschiedenen Rezipientengruppen und der Öffent- lichkeit zugänglich gemacht. Landes- und Bundesergebnisberichte können über die BIFIE-Homepage heruntergeladen werden. Den Schülerinnen und Schülern, Lehrerinnen und Lehrern, Schulleiterinnen und Schulleitern sowie der Schulaufsicht werden ihre jeweiligen Ergebnisberichte auf einer Onlineplatt- form zur Verfügung gestellt. Zum Abrufen der Rückmeldungen benötigen sie einen Zugangscode.

4.5.1 Codeversand Verteilung der Zugangscodes:

Die Codes zum Abrufen der Schülerrückmeldungen werden am Testtag mit dem jeweiligen Testheft an die Schüler/innen ausgegeben.

Die benötigten Codes zum Abrufen der Ergebnisse für Schulleiter/innen, Lehrpersonen und Behör- den werden vorab postalisch (per Einschreiben) an die Schulleitung bzw. die Schulbehörden gesendet.

Der Bundesergebnisbericht sowie die einzelnen Landesergebnisberichte sind öffentlich zugänglich über die BIFIE-Website abrufbar, somit sind keine Codes erforderlich.

Die benötigten Zugangscodes für Lehrer/innen, Schulleiter/innen und Schulaufsicht werden aus Sicher- heitsgründen per Einschreiben wenige Wochen vor Freischaltung der Ergebnisse versendet. Zeitlich mit dem postalischen Versand ergeht an alle Stellen ein E-Mail (Supermailer), das den Versand der Codes ankündigt – so wird gewährleistet, dass im Falle eines Verlusts des Codes auf dem Postweg bei entspre- chender Kontaktaufnahme mit dem BIFIE rechtzeitig vor Freischaltung der Ergebnisse ein neuer Code zugesendet werden kann.

11 zuständiges Bundesministerium: bis Dezember 2013 das BMUKK, von Jänner 2014 bis April 2016 das BMBF, seit Mai 2016 das BMB

(14)

Die Codes für die Schulleitung und Lehrpersonen werden direkt an die Schulleitung gesendet mit der Bitte um Aushändigung an die entsprechenden Lehrpersonen. Die Schulleitung ist für die Distribution der Lehrercodes zuständig. Jeder Code befindet sich in einem separaten und verschlossenen Kuvert, beschriftet mit dem von der Schulleitung vergebenen Namen der Unterrichtsgruppe. Ein beiliegendes Anschreiben informiert die Schulleitung über die weitere Vorgehensweise sowie die Weitergabe der Co- des an die Lehrpersonen.

4.5.2 Onlineplattform

Die Ergebnisse der Bildungsstandards können nach der Pressekonferenz von den unterschiedlichen Rezi- pientengruppen (Schüler/innen, Lehrer/innen, Schulleitungen, Schulaufsicht) über die gesicherte Rück- meldeplattform https://bist-rm.bifie.at im Internet abgerufen werden. Dafür ist neben dem Zugangscode für Lehrer/innen, Schulleiter/innen und die Schulaufsicht in einem zweiten Anmeldeschritt zusätzlich die Angabe eines weiteren Identifikationsmerkmals nötig.

Auf der Startseite besteht die Möglichkeit, sich mit Testzugängen jeweils Musterrückmeldungen für Schüler/innen, Lehrer/innen und Schulleiter/innen anzusehen bzw. herunterzuladen. Diese Musterrück- meldungen sind in sich stimmig und beruhen jeweils auf fiktiven Daten. Lediglich die Maßzahlen für Österreich insgesamt können – müssen aber nicht – den realen Messdaten entsprechen. Im ersten Über- prüfungsjahr 2012 (M8) waren diese Musterzugänge nur innerhalb der Hilfe ersichtlich, seit der Rück- meldung der Standardüberprüfungen aus 2013 (E8 und M4) werden die Musterzugänge direkt auf der Startseite angegeben.

Abbildung 2: Rückmeldeplattform D4 2015

Nach dem Einloggen gelangt die Nutzerin/der Nutzer auf eine Webseite, deren Inhalte an Fach und Ebene angepasst sind. Über diese Website können sämtliche Informationen der Rückmeldung abgerufen werden. Die Hauptstruktur der Rückmeldeplattform ist für die Schulaufsicht, die Schulleitung und die Lehrer/innen gleich aufgebaut.

Ebenfalls online erfolgt die Rückmeldung an die Schüler/innen, die als Feedback zur persönlichen Lern- entwicklung dient. Für den Zugang zu ihren Ergebnissen erhalten die Schüler/innen am Testtag einen Zugangscode, den nur die Schüler/innen selbst kennen und mit dem sie ihre persönlichen Ergebnisse im Anschluss an die Auswertung im Internet abrufen können. Die Ergebnisse werden den Schülerinnen

(15)

und Schülern in Form des Testwerts und der erreichten Kompetenzstufe bzw. des GERS-Referenzniveaus (kriteriale Rückmeldung) mitgeteilt. Referenzwerte für die Schüler/innen sind der Österreich-Schnitt, der Prozentrang der Schülerin/des Schülers in Österreich sowie die österreichweite Verteilung auf die Kompetenzstufen bzw. GERS-Referenzniveaus. Die Schüler/innen erhalten wegen des ohnehin geringeren Umfangs ihrer einzelnen Berichte im Gegensatz zu allen anderen Gruppen keine zusammenfassende Übersichtstabelle.

Die Rückmeldeplattform wird jeweils für die aktuellen Versionen der gängigsten Browser optimiert und getestet.

5 Hotline

Zur Unterstützung bei organisatorischen, technischen und inhaltlichen Fragen im Zusammenhang mit den Rückmeldungen der Standardüberprüfungen ist eine Hotline (+43-662-620088-3700) eingerichtet, an die sich alle Zielgruppen wenden können. Für die Überprüfungen 2012 und 2013 wurde sie in den Wochen vor und nach der Ergebnisfreischaltung mit zusätzlichem Personal besetzt, um der verstärkten Frequentierung gerecht zu werden. Jene Personen, die nur für einige Tage die Hotline unterstützten, sowie BIFIE-interne Mitarbeiter/innen nahmen an einer halbtägigen Einschulung teil. Alle externen Hot- line-Mitarbeiter/innen, die über einen längeren Zeitraum die Rückmelde-Hotline betreuten, durchliefen zwei halbtägige Schulungen. Folgende Schulungsinhalte wurden in der zweitägigen Schulung behandelt:

wichtigste gesetzliche Grundlagen

wichtigste fachspezifische Unterlagen

Informationen zu den Standardüberprüfungen

Überblick über Schulaufsichts-, Landes- und Bundesergebnisbericht

Aufbau, Struktur und wichtigste Kennwerte der Onlinerückmeldungen

Codeversand

Rückmeldeplattform (Adresse, Login, Navigation, mögliche technische Probleme)

Umgang mit den Rückmeldungen und Unterstützungsangebote

Datenbank zur Dokumentation der Anrufe

Kompetenzgrenzen der Hotline-Mitarbeiter/innen

Sicherheitsanweisungen für Hotline-Mitarbeiter/innen

Trotz der detaillierten Einschulung wurde besonderer Wert darauf gelegt, dass externe Hotline-Mitarbei- ter/innen ihre eigenen Kompetenzgrenzen kennen. So waren sie zum Beispiel angewiesen, bei folgenden Fragen bzw. Problemen sofort an das Team Rückmeldung & Kontextbefragung weiterzuverbinden:

Berechnung von Kennwerten

Statistische Begriffe

Interpretation von Ergebnissen

Detaillierte inhaltliche Fragen

Detaillierte Fragen zur Datenverarbeitung und zum Datenschutz

Probleme mit dem Zugangscode, die sich nicht auf allgemeine technische Schwierigkeiten zurückfüh- ren lassen

Des Weiteren hatten externe Hotline-Mitarbeiter/innen zu keinem Zeitpunkt Zugriff auf sensible Daten wie beispielsweise Zugangscodes und Ergebnisdatensätze.

Aufgrund der fortlaufenden technischen und inhaltlichen Optimierungen und der Tatsache, dass die meisten Schulleiter/innen und die Schulaufsicht 2015 bereits Erfahrung mit dem Umgang mit den Er- gebnisrückmeldungen aus den Vorjahren gesammelt hatten, war mit einer geringeren Frequentierung der Hotline zu rechnen, weshalb 2015 keine externen Mitarbeiter/innen für die Hotline eingesetzt und auch nicht benötigt wurden.

(16)

Sämtliche Anrufe werden in einer Access-Datenbank dokumentiert. Analysen zur Frequentierung der Hotline, zur Funktion der Anrufer (Schulleiter/in, Lehrer/in, Schüler/in, Eltern …) und zu den häufigs- ten Problemen dienen dazu, zukünftige Prozesse und Ergebnisrückmeldungen zu verbessern sowie die Inhalte der Hotline-Schulungen bestmöglich auf die Bedürfnisse der Anrufer/innen abzustimmen.

Zusätzlich zur Hotline können Fragen zur Ergebnisrückmeldung auch an die E-Mail-Adressen bist4-rm@

bifie.at (4. Schulstufe) bzw. bist8-rm@bifie.at (8. Schulstufe) gestellt werden.

Die meisten Anrufe an die Hotline erfolgten bei allen Bildungsstandardrückmeldungen jeweils am Tag der Ergebnisfreischaltung sowie am darauffolgenden Tag. Die Mehrzahl der Anrufer/innen waren bei allen Rückmeldungen Schulleiter/innen, gefolgt von Eltern bzw. Schülerinnen und Schülern und Lehre- rinnen bzw. Lehrern. Am häufigsten hatten Anrufer/innen organisatorische Fragen (bei der BIST-Ü 2013 gehörten ca. 34 % der Anrufe zu dieser Kategorie), viele forderten auch ihren Zugangscode (erneut) an und auch das Einloggen bereitete einigen Probleme. Inhaltliche Fragen zur Rückmeldung wurden an der Hotline vergleichsweise selten gestellt (bei der BIST-Ü 2013 stellten ca. 10 % der Anrufer inhaltliche Fragen).

(17)

6 Anhang

6.1 Allgemeiner Prozessablauf der Rückmeldung

1. Grafikentwürfe und Berichtsstruktur erstellen

Diskussion mit Fachgremium („Rückmelde-AGs“ mit Fachdidaktik, Methodenteam, Departmentleitung ...)

Konzeption + Berücksichtigung der Entscheidungsregeln

2. Musterberichte erstellen

Variablenliste erstellen

4. Grafiken programmieren

5. Datensätze testen

Vorab: fiktive Musterdatensätze erstellen/testen

(Stimmigkeit, Format, Entscheidungsregeln ...)

Testen der Echtdatensätze (Format, Entscheidungsregeln, Berechnungsvorgaben, Konsistenz ...)

6. Grafiken generieren

Grafiken mit Echtdaten generieren (nochmalige Kontrolle der Daten und Grafiken)

7. Finale Rückmeldung erstellen & Kontrolle

8. RM-Plattform vorbereiten

Webseitentexte erstellen RM-Plattform testen

(Inhalte, Formate, korrekte Verknüpfung mit Daten und Grafiken)

9. Ergebnisfreischaltung

Versand der Zugangscodes Laufende Betreuung von

Hotline- und E-Mail-Anfragen

3. Grafik- und Variablenspezifikation

Variablenbeschriftung in Grafiken einfügen Allgemeine

Informationen/

Glossar Onlineberichte System- berichte

Grafiken im Konfigurator erstellen, Entscheidungs- regeln programmieren

Grafiken testen (Layout, Variablen, Funktion,

Entscheidungsregeln)

Grafiktexte im Konfigurator eingeben

Spezifikationen für Satz und PDF-Generierung

aufbereiten

PDF-Zusammenführung testen (gesetzte Texte, Daten,

Konfiguratorgrafiken)

Ergebnisabhängige Texte in den

Systemberichten finalisieren Finale Rückmeldungen für alle Ebenen generieren

(18)

6.2 Mathematik, 8. Schulstufe, 2012

Berichtaufbereitung und Distribution

Für die Rückmeldung der M8-Ergebnisse wurden rund 86 000 Berichte programmiert bzw. generiert.

Des Weiteren wurden im Satz aggregierte Schulaufsichtsberichte für die Landeschulinspektorinnen und -inspektoren erstellt sowie für jedes Bundesland ein Landesergebnisbericht (LEB) und für Öster- reich gesamt ein Bundesergebnisbericht (BEB) erstellt.

Anzahl der erstellten Berichte pro Ebene:

Anzahl der erstellten Berichte M8

Online

Schüler/innen 79 595

Lehrer/innen 4 812

Schulleiter/innen 1 417

Bezirksaufsichtsberichte (BSI) 125

Onlineberichte 85 967

System

Landesaufsichtsberichte (LSI-AHS/-APS) 18

LEB 9

BEB 1

Systemberichte 10

Tabelle 2: Anzahl erstellter Berichte M8

Zusätzlich zum online öffentlich abrufbaren PDF der Systemberichte wurden jeweils einige Exemp- lare gedruckt zur Verfügung gestellt. Die Druckauflage umfasste sowohl für den Bundesergebnis- bericht als auch für die neun Landesergebnisberichte je 220 Exemplare.

Die Distribution der Rückmeldungen erfolgte für die Ebenen Schüler/innen, Lehrer/innen, Schullei- tung und Schulaufsicht über die Plattform https://bist-rm.bifie.at.

Aufgrund von Verlust mussten insgesamt 371 Codes erneut an Schulen bzw. Behörden gesendet werden (ca. 6 % der versendeten Codes).

Abrufquoten

Die Freischaltung der Ergebnisse erfolgte am 11. Dezember 2012 im Anschluss an die Pressekonfe- renz, im Rahmen derer die österreichweiten Ergebnisse von der damaligen Bundesministerin Dr.

Claudia Schmied des BMUKK präsentiert wurden.

Der Zugriff auf die Onlineplattform war bis Ende Juni 2013 möglich.

Im gesamten Zeitraum, während dessen die Rückmeldungen online waren, wurden folgende Abruf- quoten¹² bei den M8-Rückmeldungen erreicht:

12 Nicht berücksichtigt sind dabei Schulschließungen, Pensionierungen, Karenzierungen oder Ähnliches, die im Zeitraum zwischen Test- durchführung und Ergebnisrückmeldung stattgefunden haben.

(19)

Abbildung 4: Abrufquoten M8

Alle Schulbehörden haben ihren Bericht entweder mit ihrem Zugangscode über die Rückmeldeplatt- form abgerufen oder ihn vom BIFIE über eine geschützte Internetverbindung zur Verfügung gestellt bekommen.

Der M8-Bundesergebnisbericht (Schreiner & Breit, 2012) ist auf der BIFIE-Website unter folgendem Link öffentlich abrufbar: https://www.bifie.at/node/1948

Die M8-Landesergebnisberichte sind auf der BIFIE-Website unter folgendem Link öffentlich abruf- bar: https://www.bifie.at/node/1949

6.3 Mathematik, 4. Schulstufe, 2013

Für die Rückmeldung der M4-Ergebnisse wurden rund 81 600 Berichte programmiert bzw. generiert.

Des Weiteren wurden im Satz sowohl für jedes Bundesland ein Landesergebnisbericht (LEB) als auch für Österreich gesamt ein Bundesergebnisbericht (BEB) erstellt.

Anzahl der erstellten Berichte pro Ebene:

Anzahl der erstellten Berichte M4

Online

Lehrer/innen 4 872

Schulaufsicht (BSI/LSI) 135

System

LEB 9

BEB 1

Systemberichte 10

Tabelle 3: Anzahl erstellter Berichte M4

Zusätzlich zum online öffentlich abrufbaren PDF der Systemberichte wurden jeweils einige Exemp- lare gedruckt zur Verfügung gestellt. Die Druckauflage umfasste für den Bundesergebnisbericht 100 Exemplare, für den Landesergebnisbericht Oberösterreich 50 Exemplare und je 20 Exemplare für die anderen acht Landesergebnisberichte.

88,1 %

99,2 %

27,4 %

0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %

M8 Lehrer M8 Schulleiter M8 Schüler

Abrufquoten M8

(20)

Abrufquoten

Die Freischaltung der Ergebnisse erfolgte am 31. Jänner 2014 im Zuge der Pressekonferenz, im Rah- men derer die österreichweiten Ergebnisse von der Bundesministerin Gabriele Heinisch-Hosek des BMBF präsentiert wurden.

Der Zugriff auf die Onlineplattform war bis Anfang Juli 2014 möglich.

Im gesamten Zeitraum, während dessen die Rückmeldungen online waren, wurden folgende Abruf- quoten¹³ bei den M4-Rückmeldungen erreicht:

Abbildung 5: Abrufquoten M4

Der M4-Bundesergebnisbericht (Schreiner & Breit, 2014b) ist auf der BIFIE-Website unter folgen- dem Link öffentlich abrufbar: https://www.bifie.at/node/2489

Die M4-Landesergebnisberichte sind auf der BIFIE-Website unter folgendem Link öffentlich abruf- bar: https://www.bifie.at/node/2491

6.4 Englisch, 8. Schulstufe, 2013

Für die Rückmeldung der E8-Ergebnisse wurden rund 83 000 Berichte programmiert bzw. generiert.

Anzahl der generierten Berichte pro Ebene:

Anzahl der erstellten Berichte E8

Online

Lehrer/innen 4 762

Schulaufsicht 144

System

LEB 9

BEB 1

Systemberichte 10

Tabelle 4: Anzahl erstellter Berichte E8

78,6 %

94,7 %

30,2 %

0 % 10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %

M4 Lehrer M4 Schulleiter M4 Schüler

Abrufquoten M4

(21)

Zusätzlich zum online öffentlich abrufbaren PDF der Systemberichte wurden jeweils einige Exemp- lare gedruckt zur Verfügung gestellt. Die Druckauflage umfasste für den Bundesergebnisbericht 100 Exemplare, für den Landesergebnisbericht Oberösterreich 50 Exemplare und je 20 Exemplare für die anderen acht Landesergebnisberichte.

Abrufquoten

Die Freischaltung der Ergebnisse erfolgte am 31. Jänner 2014 im Zuge der Pressekonferenz, im Rah- men derer die österreichweiten Ergebnisse von der Bundesministerin Gabriele Heinisch-Hosek des BMBF präsentiert wurden.

Der Zugriff auf die Onlineplattform war bis Anfang Juli 2014 möglich.

Im gesamten Zeitraum, während dessen die Rückmeldungen online waren, wurden folgende Abruf- quoten¹⁴ bei den E8-Rückmeldungen erreicht:

Abbildung 6: Abrufquoten E8

Der E8-Bundesergebnisbericht (Schreiner & Breit, 2014a) ist auf der BIFIE-Website unter folgen- dem Link öffentlich abrufbar: https://www.bifie.at/node/2490

Die E8-Landesergebnisberichte sind auf der BIFIE-Website unter folgendem Link öffentlich abruf- bar: https://www.bifie.at/node/2492

6.5 Deutsch, 4. Schulstufe, 2015

Für die Rückmeldung der D4-Ergebnisse wurden rund 83 000 Berichte programmiert bzw. generiert.

81,4 %

98,3 %

18,6 % 0 %

10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %

E8 Lehrer E8 Schulleiter E8 Schüler

Abrufquoten E8

(22)

Anzahl der generierten Berichte pro Ebene:

Anzahl der erstellten Berichte D4

Online

Lehrer/innen 4 941

Schulaufsicht 91

System

LEB 9

BEB 1

Systemberichte 10

Tabelle 4: Anzahl erstellter Berichte E8

Zusätzlich zum online öffentlich abrufbaren PDF der Systemberichte wurden jeweils einige Exemp- lare gedruckt zur Verfügung gestellt. Die Druckauflage umfasste für den Bundesergebnisbericht 100 Exemplare, für den Landesergebnisbericht 235.

Abrufquoten

Die Freischaltung der Ergebnisse erfolgte am 31. März 2016 im Zuge der Pressekonferenz, im Rah- men derer die österreichweiten Ergebnisse von der Bundesministerin Gabriele Heinisch-Hosek des BMBF präsentiert wurden.

Der Zugriff auf die Onlineplattform ist noch bis Ende Dezember 2016 möglich.

Bis 14.09.2016 wurden folgende Abrufquoten¹⁵ bei den D4-Rückmeldungen erreicht:

Abbildung 7: Abrufquoten D4

Alle Schulbehörden (100 %) haben ihren Bericht entweder mit ihrem Zugangscode über die Rück- meldeplattform abgerufen oder ihn vom BIFIE über eine geschützte Internetverbindung zur Verfü- gung gestellt bekommen.

Der D4-Bundesergebnisbericht (Breit, Bruneforth & Schreiner, 2016) ist auf der BIFIE-Website un- ter folgendem Link öffentlich abrufbar: www.bifie.at/node/3360

Die D4-Landesergebnisberichte sind auf der BIFIE-Website unter folgendem Link öffentlich abruf- bar: https://www.bifie.at/node/3361

15 Nicht berücksichtigt sind dabei Schulschließungen, Karenzierungen oder Ähnliches, die im Zeitraum zwischen Testdurchführung und Ergebnisrückmeldung stattgefunden haben und uns nicht gemeldet wurden. Bei der Rückmeldung D4 2015 durften auch pensionierte Lehrkräfte von ihrer Schulleitung den Zugangscode erhalten.

78,3 %

98,6 %

22,7 % 0 %

10 % 20 % 30 % 40 % 50 % 60 % 70 % 80 % 90 % 100 %

D4 Lehrer D4 Schulleiter D4 Schüler

Abrufquoten D4

(23)

Literaturverzeichnis

Altrichter, H. & Kanape-Willingshofer, A. (2012). Bildungsstandards und externe Überprüfung von Schülerkompetenzen: Mögliche Beiträge externer Messungen zur Erreichung der Qualitätsziele der Schule. In Herzog-Punzenberger, B. (Hrsg.), Nationaler Bildungsbericht Österreich 2012, Band 2: Fokus- sierte Analysen bildungspolitischer Schwerpunktthemen. Graz: Leykam.

Altrichter, H. (2010). Schul- und Unterrichtsentwicklung durch Datenrückmeldung. In Altrichter, H.

& Maag Merki, K. (Hrsg.), Handbuch neue Steuerung im Schulsystem (S. 219–254). Wiesbaden: Verlag für Sozialwissensschaften.

Bazinger, C., Freunberger, R. & Itzlinger-Bruneforth, U. (2014). Standard-Setting Mathematik 4. Schul- stufe. Technischer Bericht. Salzburg.

Berkemeyer, N. & van Holt, N. (2010). Informationen aus Rückmeldungen für die Unterrichtsentwicklung nutzen. Kiel: IPN.

Bonsen, M. (2009). Wirksame Schulleitung. In H. Buchen & H.-G. Rolff (Hrsg.), Professionswissen Schulleitung (S. 193–228) (2. erweiterte Auflage). Weinheim: Beltz.

Breit, S., Paasch, D. & Pinwinkler, M. (2012). Die Ergebnisrückmeldung als Impuls für Qualitätsent- wicklung. In Bundesinstitut für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens (Hrsg.), Bildungsstandards und Qualitätsentwicklung an Schulen – Impulse für Schulleiter/

innen (S. 121–131). Salzburg: BIFIE.

Breit, S., Bruneforth, M. & Schreiner, C. (Hrsg.). (2016). Standardüberprüfung 2015 Deutsch, 4. Schul- stufe. Bundesergebnisbericht. Salzburg: BIFIE.

Bundesministerium für Bildung (BMB). (2016). Bildungsstandards – ein Beitrag zur Unterrichts- und Schulentwicklung. Verfügbar unter: https://www.bmb.gv.at/schulen/unterricht/ba/bildungsstandards.

pdf?5h6yhf [14.12.2016].

Bundesgesetz, mit dem ein Bundesgesetz über die Einrichtung eines Bundesinstitutes für Bildungsforschung, Innovation und Entwicklung des österreichischen Schulwesens erlassen wird. BGBl. I Nr. 25/2008. Gesamter Gesetzestext mit allen Novellen verfügbar unter: https://www.ris.bka.gv.at/GeltendeFassung.wxe?Abfrage=

Bundesnormen&Gesetzesnummer=20005666

Freunberger, R. (2013). Standard-Setting Mathematik 8. Schulstufe. Technischer Bericht. Salzburg: BIFIE.

Freunberger, R. Robitzsch, A. & Pham, G. (2014). Hintergrundvariablen und spezielle Analysen in der BIST-Ü-M4 2013. Technische Dokumentation. Salzburg: BIFIE.

Freunberger, R., Bazinger, C. & Itzlinger-Bruneforth, U. (2013). Linking the Austrian Standards-Based Test for English to the CEFR: The Standard-Setting Process. Salzburg: BIFIE.

George, A. C. & Robitzsch, A. (2014). „Fairer Vergleich“ in der BIST-Ü-M4 2013. Technische Dokumen- tation. Salzburg: BIFIE.

Köller, O. & Köller, M. (2007). Bedeutung von Schulleiterinnen und Schulleitern für die Qualität von Unterricht. In T. Riecke-Baulecke (Hrsg.), SchulleitungPlus: Grundsätze und Verfahren wirksamer Füh- rung (S. 76–83). München: Oldenbourg.

Lohmann, A. (2013). Effektiv Schule führen. Wie Schulleitungshandeln die Schul- und Unterrichtsqualität steigert. Köln: Carl Link.

(24)

Rieß, C. & Zuber, J. (2014). BIST-Begleitforschung 2/2014: Rezeption und Nutzung von Ergebnissen der Bildungsstandardüberprüfung in Mathematik auf der 8. Schulstufe unter Berücksichtigung der Rückmelde- moderation. Salzburg: BIFIE.

Schmich, J. & Schreiner, C. (Hrsg.). (2009). TALIS 2008: Schule als Lernumfeld und Arbeitsplatz. Graz:

Leykam.

Schreiner, C. & Breit, S. (Hrsg.). (2012). Standardüberprüfung 2012 Mathematik, 8. Schulstufe. Bundes- ergebnisbericht. Salzburg: BIFIE.

Schreiner, C. & Breit, S. (Hrsg.). (2014a). Standardüberprüfung 2013 Mathematik, 4. Schulstufe. Bundes- ergebnisbericht. Salzburg: BIFIE.

Schreiner, C. & Breit, S. (Hrsg.). (2014b). Standardüberprüfung 2013 Englisch, 8. Schulstufe. Bundes- ergebnisbericht. Salzburg: BIFIE.

Schulunterrichtsgesetz. BGBl. I 117/2008. Gesamter Gesetzestext mit allen Novellen verfügbar unter:

https://www.ris.bka.gv.at/GeltendeFassung/Bundesnormen/10009600/SchUG%2c%20Fassung%20 vom%2003.02.2015.pdf [03.02.2015].

Verordnung der Bundesministerin für Unterricht, Kunst und Kultur über Bildungsstandards im Schulwesen.

BGB l. II Nr. 185/2012. Gesamter Gesetzestext mit allen Novellen verfügbar unter: https://www.ris.bka.

gv.at/Dokument.wxe?Abfrage=BgblAuth&Dokumentnummer=BGBLA_2012_II_185 [14.12.2016].

Zuber, J., Rieß, C. & Bruneforth, M. (2012). BIST-Begleitforschung 1/2012: Evaluation der Standardüber- prüfung Mathematik 8. Schulstufe 2012. Salzburg: BIFIE.

(25)