Relevante Dokumente

Bei der Analyse der Instrumente wurde auf unterschiedliche Dokumententypen zurückgegrif-fen:Zu denrelevantenDokumentengehörenunteranderemBewertungsinstrumente,wie dieUnterrichtsbeobachtungsbögenundFragebögen.DesWeiterenwurdenimRahmender AnalyseauchdieBeschreibungenbzw.MerkmalevonguterSchule,dieunterandereminden HandbüchernderSchulinspektionenaufgeführtwerden,berücksichtigt.

DarüberhinausgreifenSchulinspektor_innenbeiderDurchführungvonInspektionenauf interneUnterlagenzurück,z.B.ausführlicheErklärungenzueinzelnenIndikatoren.Wenn

diese nicht öffentlich zugänglich waren, wurden sie nicht berücksichtigt. Neben den internen Dokumenten werden die Schulqualitätsrahmen im Rahmen der Arbeit nicht als Bewertungs-instrumente verstanden und sind daher kein Teil der empirischen Analyse. Dies lässt sich dadurch erklären, dass die Schulqualitätsrahmen häufig sehr umfassende Beschreibungen von guter Schule enthalten. Diese sind fü die konkrete Durchführung von Inspektionen kaum relevant. In den Instrumenten tauchen häufig nur Teilaspekte des Schulqualitätsrahmens auf auf bzw. bei der Operationalisierung bedarf es der Konkretisierung und Interpretation durch die Instrumenteentwickler_innen. Demnach werden die Schulqualitätsrahmen in Bezug auf die Entwicklung der Bewertungsinstrumente thematisiert (→ Kapitel 8), aber dieser werden im RahmenderArbeitnichtalsBewertungsinstrumenteverstandenundsindsomitnichtTeilder Analyse.DarüberhinauskonntenauchdiesogenanntenDatenblätterzurSchulhausbegehung beiderAnalysenichtmiteinbezogenwerden,dadiesenurinzweiBundesländernzugänglich warenundsichdahernurbegrenztbundesländervergleichendeAussagentreffenlassen.

ImRahmen derAnalyse wirdimmerwieder explizit auf denjeweiligen Dokumententyp verwiesen.So weisendieeinzelnen Dokumententypen unterschiedlicheLogiken auf,was unter anderem damit zusammenhängt, dass die Dokumententypen dazu genutzt werden die Einschätzungen von unterschiedlichen Personen, z. B. von Eltern durch den Elternfragebogen oder von den Inspektor_innen durch den Unterrichtsbeobachtungsbogen, zu erfassen. Des Weiteren gibt es innerhalb des gleichen Dokumententyps nochmal Unterschiede zwischen den einzelnen Bundesländern, z. B. bei der Antwortskala. Auch dies wird im Rahmen der Analyse thematisiert, wenn es in Bezug auf die Fragestellung der Arbeit von Relevanz ist.

Da die Dokumente frei zugänglich sind, ist es möglich, die Bundesländer namentlich aufzu-führen und miteinander zu vergleichen. Demnach findet sich hinter jedem Zitat die Nennung des Dokumententyps, z. B. „Unterrichtsbeobachtungsbogen (UBB)“ und die Abkürzung des jeweiligenBundeslandes,z.B.Sachsen-Anhalt(ST).Zusätzlichistzuberücksichtigen,dassdie BundesländerhäufigunterschiedlicheBegrifflichkeitenverwenden,umdiejeweiligen Doku-mententypenzubenennen.ZurVereinheitlichungwirdimFolgendennureinBegriffverwendet.

EsfolgtnuneineausführlichereBeschreibungdereinzelnenDokumententypen.

„MerkmalevonguterSchule“imHandbuch(ÜI): VieleSchulinspektionenbeschreiben imRahmeneinesHandbuchsoderaufderWebsitedasjeweiligeVerfahrenderInspektion,z.B.

AblaufoderAnzahlderInspektor_innen.ImHandbuchbefindetsichhäufigaucheine Über-sichtüberdieeinzelnenQualitätsbereichevonSchuleunddiedazugehörigenIndikatorenfür guteSchule.DieTextbausteine,diebeschreiben,wasdiejeweiligeSchulinspektionuntereiner gutenSchuleversteht(imFolgenden„MerkmalevonguterSchule“),sindTeilderempirischen Analyse. Diese sind von den Messinstrumenten insofern abzugrenzen, als dass sie nicht zur konkreten Messung an Schulen genutzt werden, sondern sie können als Grundlagendokumente verstanden werden. Der Bezug zwischen diesen Merkmalen und den Instrumenten wird in einigen Bundesländern explizit hergestellt: Beispielsweise ist bei dem „Langprofil mit allen Pro-filmerkmalen und Kriterien“ des Landes Brandenburg vermerkt mit welchem Messinstrument das jeweilige Merkmal von guter Schule gemessen wird. So wird das Merkmal „Die Schülerinnen und Schüler zeigen sich zufrieden mit der Schule“ durch persönliche Interviews sowie durch den Schülerfragebogen abgefragt. In den Handbüchern mancher Bundesländer taucht eine Vielzahl von Beispielen auf, z. B. werden im Fall von Niedersachen bei dem Qualitätsmerkmal

„KooperationenmitexternenPartnernbestehen“insgesamtachtAngebotsformatealsBeispiele aufgeführt,wie„GenderMainstreaming“;„Präventionsmaßnahmen“;PolitischeBildung“usw.

Analyse der Bewertungsinstrumente 91

Diese Beispiele tauchen in den konkreten Instrumenten wie im Unterrichtsbeobachtungsbogen nicht mehr explizit auf. Hier könnte auf der einen Seite argumentiert werden, dass diese As-pekte bei der Messung „mitgedacht“ werden. Auf der anderen Seite besteht jedoch die Gefahr, dass diese Aspekte im Laufe der Zeit in Vergessenheit geraten. Dies ist bei der Interpretation der instrumentenübergreifenden Merkmale zu beachten und wurde in der Analyse durch die Kennzeichnung „Beispiele“ berücksichtigt (nähere Ausführung → Kapitel 7).

Darüber hinaus ist zu erwähnen, dass sich der Dokumententyp „Merkmale gute Schule“ im Format zwischen den Bundesländern unterscheidet: In den meisten Fällen ist es eine Auf-führung von Merkmalen von guter Schule und Indikatoren und/oder Beispielen, die nähere HinweisezudenMerkmalengeben.FallssolcheineAufzählungnichtauffindbarwar,wurdeauf deskriptiveBeschreibungendesVerständnissesvonSchulqualitätzurückgegriffen,z.B.imFall vonSchleswig-Holstein.InsgesamtwurdendieMerkmalevonguterSchuleinelfFällen analy-siert:Baden-Württemberg(BW),Bayern(BY),Berlin(BE),Brandenburg(BB),Hamburg(HH), Hessen(HE),Niedersachsen(NI),Nordrhein-Westfalen(NRW),Sachsen-Anhalt(ST), Schleswig-Holstein(SH)undBund-Länder-Inspektion(BLI).GenerellwerdenZitate,dieausdiesem Dokumententyp entstammen, in der Analyse mit dem Kürzel „ÜI“ („Übergreifende Indikato-ren“) gekennzeichnet.

Unterrichtsbeobachtungsbogen(UBB): EinwesentlicherBestandteileinerInspektionist derBesuchdesUnterrichts.DafürbesuchendieInspektorinnenundInspektorenmehrere Unterrichtsstunden und füllen hierbei den Unterrichtsbeobachtungsbogen aus. Auf den Bögen befinden sich verschiedene Items, die von den Inspektor_innen während der Unterrichtsbe-obachtung ausgefüllt werden. Ein Item auf dem Berliner UnterrichtsbeUnterrichtsbe-obachtungsbogen ist beispielsweise folgender: „Die Raumgestaltung (auch die Sitzordnung) ist alters- und bedarfsge-recht“ (UBB_BE). Dabei unterscheiden sich die Bundesländer nicht nur in den Items, sondern auch in den Antwortskalen.

In Bezug auf die Antwortkategorien unterscheiden sich die Bundesländer in zwei Aspekten:

Zum einen, ob sie eine dichotome Antwortskala anbieten (BW; BY; NI; NRW) oder zwischen vier Niveaustufen unterscheiden (BE; BB; HH; HE; SL ; ST) (→ Tab. 6.2). Zum anderen gibt esineinigenBundesändernauchdieMöglichkeitbeiallenIndikatorenbzw.beibestimmten Indikatorenanzugeben,dassdieserAspektnichtbeobachtbarsei.DahinterstehtdieIdee,dass eineUnterrichtsbeobachtung–außerinBayern(BayerischesStaatsministeriumfürUnterricht undKultus2010,S.46)- 20MinutenlangistundsomitmöglicherweisenichtalleAspektevon gutemUnterrichtbeobachtbarsind.JedochmussdieNicht-Beobachtbarkeitnichtimplizieren, dassdasFehlendesAspektsnegativzubewertenist.ImFallvonNRW istdiesbeispielsweisein Bezug auf „Individuelle Lernwege“ der Fall: Falls in der Unterrichtsbeobachtung keine Form der Differenzierung sichtbar wird, müssen die Schulinspektor_innen auch nicht die dazugehörigen Indikatoren beantworten (UBB_NRW).

Für die Analyse des Unterrichtsbeobachtungsbogens wird auf 12 Fälle zurückgegriffen: Baden-Württemberg; Bayern; Berlin; Brandenburg; Hamburg; Hessen; Niedersachsen; Nordrhein-Westfalen; Saarland; Sachsen-Anhalt, Schleswig-Holstein und die Inspektion für Schulen im Ausland (BLI). Zitate aus dem Unterrichtsbeobachtungsbogen sind mit „UBB“ gekennzeich-net.

Fragebögen: Vor dem Besuch eines Schulinspektionsteams werden diverse Akteursgruppen gebeten, einen Fragebogen auszufüllen, der häufig im Rahmen einer Onlinebefragung realisiert

2 Erhebungsformate wie die Einzelinterviews sind nicht standardisiert und somit im Rahmen dieser Arbeit nicht Teil der Analyse.

wird. Dieser zielt darauf ab möglichst repräsentative Daten zu erhalten. Dafür werden meis-tens Eltern, Lehrkräfte sowie Schüler_innen kontaktiert. Des Weiteren werden in manchen Bundesländern noch Erzieher_innen bzw. pädagogisches Personal befragt, z. B. in Berlin. Die Ergebnisse der Befragung dienen häufig als Grundlage, um im Rahmen von Einzel- oder Grup-peninterviewskonkreteNachfragenstellenzukönnen.DesWeiterenwerdendieErgebnisse derBefragungenmeistensauchindenInspektionsberichtenaufgeführt.ImRahmendieser ArbeitwerdennurdieFragebögenfürEltern,Schüler_innenundLehrkräfteanalysiert,um eineVergleichbarkeitzwischendenBundesländernzugewährleisten.²

FürdieAnalysedesFragebogensfürLehrkräfte,ElternundSchüler_innenwirdauffolgende Fälle zurückgegriffen: Bayern, Berlin, Brandenburg, Hamburg, Hessen, Saarland, Sachsen-Anhalt sowie Schleswig-Holstein. Falls schulartspezifische Fragebögen vorhanden waren, wurde auf die Fragebögen für Oberschulen zurückgegriffen. Zitate aus den Fragebögen werden folgen-dermaßen gekennzeichnet: Beim Elternfragebogen „EFB“; beim Fragebogen für Lehrkräfte ist es die Abkürzung „LFB“ sowie beim Schülerfragebogen „SFB“.

Tab. 6.2: Antwortkategorien

Bundesland Antwortkategorien im UBB

Baden-Württemberg „ja“/ „nein“; Bei manchen Indikatoren: „nicht einschätzbar“ (weil sie nicht in jedem Unterrichtssetting beobachtet werden können.

Bayern InBezugaufdieBeobachtung:„(eher)ja“;„(eher)nein“;„keine Angabenmöglich“

Berlin „++“ / „+“ / „-“ / „- -“ / Bei manchen Indikatoren: „#“ für nicht einschätzbar.

Brandenburg „4 überwiegend stark“; „3 eher stark als schwach“; „2 eher schwach als stark“ und „1 überwiegend schwach“

Hamburg „++trifftvollzu“/„+triffteherzu“/„- trifftehernichtzu“/„0 nichtbeobachtbar“

Hessen „1 trifft nicht zu“ / „2 trifft eher nicht zu“ / „3 trifft weitgehend zu“ / „4 trifft in höchstem Maße zu“

Niedersachsen „trifftzu“/„trifftnichtzu“

Nordrhein-Westfalen „trifft zu“ / „trifft nicht zu“

Saarland „trifft zu“ / „trifft eher zu“ / „trifft eher nicht zu“ / „trifft nich zu“

/ hier nicht relevant

Sachsen-Anhalt „1trifftzu“/„2triffteherzu“/„3trifftehernichtzu“/„4trifft nichtzu“/„0konntenichtbeobachtetwerden“

Inspektionsbericht: Nach der Durchführung einer Inspektion erhalten die Schulen einen Inspektionsbericht. Die Inspektionsberichte geben Hinweise darauf, wie die erhobenen Daten aufbereitet und dargestellt werden. Dies hat wiederum Einfluss darauf, welche Interpretationen durch die Adressaten des Qualtätsurteils auf der Grundlage der Daten möglich sind. Daher

Analyse der Bewertungsinstrumente 93

wurden exemplarisch einzelne Berichte hinzugezogen, wenn diese für das jeweilige Bundesland verfügbar waren. Jedoch waren in den meisten Bundesländern nur diejenigen Inspektionsbe-richte zugänglich, die von den Schulen selbst online veröffentlicht wurden. Lediglich im Fall von Hamburg, Berlin und Brandenburg wurde auf die Kurzversionen zurückgegriffen, die von den jeweiligen Ministerien veröffentlicht werden. Die Berichte werden im Folgenden mit „IB“ abgekürzt.

Zusätzliche Materialien in Bezug auf die explizite Verwendung des Inklusionsbegriffs:

In Bezug auf die Fragen, ob und wie der Inklusionsbegriff von Seiten der Schulinspektionen verwendet wird, wurden noch zusätzliche Materialien herangezogen, z. B. Schulqualitätsrahmen.

Dies basiert auf dem Gedanken, dass bei diesem Teil der Analyse auch explizite Definitionen von Inklusion gesucht werden. Es ist jedoch eher unüblich, dass in konkreten Instrumenten Definitionen von Begrifflichkeiten aufgeführt werden.