Beispiel: Bewerten und Beschreiben in der Datenauswertung

Im Folgenden sollen mithilfe eines Beispiels verschiedene Aspekte des Sensemakings illustriert werden: Wie die Instrumenteentwickler_innen versuchen, zeitgleich verschiedenen Anforderun-gen, die sich aus den jeweiligen Rahmenbedingungen ergeben, gerecht zu werden und inwiefern ihnen dies gelingt. Des Weiteren wird anhand dieses Beispiels deutlich, dass es nicht nur von Relevanz ist, welche Daten erhoben werden, sondern auch wie diese ausgewertet und dargestellt werden.

HierzubietetsicheinPhänomenan,welchesbeimehreren,abernichtbeiallenInspektionenzu beobachtenist:derVerzichtaufBewertungenundderreinenDeskriptionvonBeobachtungen imeinzelnenAbschnittendesInspektionsberichts.DiesistbeispielsweisederFall,wennim InspektionsberichtdieAussagegetroffenwird,dassca.40ProzentdesbeobachtetenUnterrichts pünktlichanfängtoderdassimbeobachtetenUnterricht80ProzentderZeitFrontalunterricht stattgefunden hat. Es bleibt nach Angaben der Instrumenteentwickler_innen bei dieser Rück-meldung und es wird keine Einschätzung darüber getroffen, ob dies gut oder schlecht sei. „Also so in dem klassischen Sinne des Wortes ”gut”, so schneidet bei uns keine Schule gut oder schlecht ab. Das hat etwas mit unserem Grundsatzverständnis zusammen, das ich versucht habe ihnen zu umreißen. Das wir also nicht bewerten, also das wir nicht sagen öh unsere Kriterien der guten Schule - seid ihr eine gute Schule oder seid ihr ne schlechte Schule, also ne failing school “ (Int. 9_49).

Prägende Rahmenbedingungen beim Sensemaking 175

Im Gegensatz dazu wird es von den Instrumenteentwickler_innen als Bewertung verstanden, wenn Einschätzungen wie „gut“ oder „schlecht“ vorgenommen werden. In diesem Zusammen-hang wird mehrfach auf die Ampel als Metapher verwiesen, d.h. bei „bewertenden“ Instrumen-ten würde die Schulinspektion deutliche Signale treffen, ob etwas beispielsweise im grünen, orangenen oder roten Bereich liegt. Es gibt verschiedene Begründungen für die „deskriptiven Abschnitte“ im Inspektionsbericht: So ist das Nicht-Beobachten von bestimmten Aspekten, z. B.

Festhalten der Lernergebnisse innerhalb einer beobachteten Unterrichtseinheit per se nicht schlecht. Dennoch soll der Schule zurückgemeldet werden, wie häufig dies gesehen bzw. nicht gesehen wurde. Demnach möchte die Schulinspektion sich beispielsweise nicht positionieren, inwievielProzentderbeobachtetenUnterrichtseinheitendasFesthaltenderLernergebnisse stattfindensollte:„UndwennmanjetzteinUnterrichtsbeobachtungsbogensolcheDingeeinbaut undsagt,wirbauennurdieDingeein,dieerwiesenermaßenimmerstattfindenmüssen.Imguten Unterrichtmussimmergewährleistetwerden,dassSchüleraktivwerden.So,dannbleibtmanauf einerdiffusenEbeneundmankannnursehrundifferenziertdieDingeähmindenBlicknehmen.

Aberdadurchdaswirsagen,esgibtkeinErwartungslevelne[…,ap]unddieseInterpretationder Ergebnisse muss in der Schule stattfinden“ (Int. 5_28).

Die deskriptive Darstellung bietet sich darüber hinaus dafür an, den Schulen die Bewertung des Beobachteten zu überlassen: „dann weiß ich nicht, ob fünfzig gut oder schlecht ist. Das weiß nur die Schule - weil die Schule weiß, wo sie sich gerne sehen würde“ (Int. 4_18). Dahinter steht die Idee, dass die Schulen sich selbst überlegen sollen, welche Ziele sie verfolgen und die Schulinspektion nur als Datenlieferant fungiert: „Also das wäre auch nur ne Rückmeldung an die Schule: <ihr habt jetzt folgende Übergangsquoten - entspricht dies dem, was ihr eigentlich erreichen möchtet?>”(Int. 4_32). Beziehungsweise wird es der Schule in Absprache mit der Schulaufsicht überlassen, wie sie die gelieferten Daten einschätzt. In Bezug auf die Rückmeldung von„deskriptiven“ErgebnissenargumentierteinInstrumenteentwickler:„DasistErgebnisgenug unddamussichnichtnochdraufsemmelnundsagenjetzt,wasistjetztgutoderschlecht.Dasmuss dieSchuleeigentlichselbstdefinierenbzw.wenndannmusseseigentlichdieSchulaufsichtoderdie Schulverwaltungdefinieren- wasfürsietolerabelistundwasnicht“(Int.17_34).

DieNicht-Bewertungermöglichtesauch,dassdieSituationderjeweiligenSchule berück-sichtigtwerdenkann(Int.5_17):”Wirsindnichtdie,dieMaßstäbeanlegenkönnen,obsoetwas tolerierbar ist oder nicht “ (Int. 17_35). Demnach können bei der Einschätzung von Seiten der Schule bzw. Schulaufsicht diverse Rahmenbedingungen an der Schule mitgedacht werden, z. B.

Ausstattung. Des Weiteren kann bei den Schulen als Bezugsnorm angelegt werden, wie sich die Schule in den letzten Jahren entwickelt hat: „Aber wir sagen nicht, damit sind sie schon gut.

Möglicherweise haben sie seit 5 Jahren Anstrengungen oder seit 3, um das zu erfüllen und sind bei 3 Prozent gestartet, sind jetzt bei 15.“ (Int. 5_17).

In den drei Begründungen spiegelt sich das Selbstverständnis der Schulinspektionen als Impuls-geber wider: „Das is eben auch die Frage bei uns gewesen. sind wir mehr kontrollierend? (.) wertend?

(.) Oder sind wir eher unterstützend, ähm (.) im Sinne von kooperativer äh ähm (.) Tätigkeit. Dass wiralsoversuchen,derSchuleeineAußensichtzugeben,dievonihrgenutztwird,sichweiterzu entwickeln.DieseHoffnung,äh-ähh,habenwiralsoverbundenmitderSchulinspektion [anonymi-siert,ap].UnddisisalsowirklichdieFragegewesen,ja,alsoinwelcherRolleähgehenwirindie Schulehinein(.)undwaswirdhierähbetont.Dieser(2)konturierende,messendeAspektoderder eherunterstützendeundähm(3).DasisimErgebnishabenwirdasunserSchulqualitätsrahmen [anonymisiert,ap],unsereUnterrichtsbeobachtungsoausgerichtet,dasswireineRückmeldunggeben, so sehen wir das, so haben wir das erlebt. Ähm, geben auch Hinweise und Anregungen, machen jetzt

aber keine dezidierte Wertung “ (Int. 12_10). Demnach möchten sie mit der Lieferung von Daten weniger kontrollieren, sondern die Schulen zur Reflektion anregen und dabei unterstützend wirken. Dies basiert auf der Annahme, dass Schulen eigenverantwortlich handeln und ihre Autonomie von Seiten der Schulinspektionen anzuerkennen ist. Es wird den Schulen bzw. der Schulaufsicht überlassen zu entscheiden, wo Handlungsbedarf besteht. In diesem Zusammen-hang wird erneut deutlich, welche Rolle die schulischen Vertreter und die Schulinspektion spielen. Wie bereits oben erwähnt, sind diese Akteure in einzelnen Bundesländern nicht nur bei der Entwicklung der Instrumente beteiligt, sondern können bei der Evaluation an der eigenen Schule darüber entscheiden, wie die Daten zu bewerten sind. Die Schulinspektion sieht sich beiderRückmeldungvonDeskriptionenalsLieferantvonneutralenDaten.

IndiesemZusammenhangistjedochkritischzuhinterfragen,obdieDeskriptionvonDaten bewertungsfreiseinkann.SoimpliziertdieErhebungvonDatenbereitseineEntscheidung dar-über,welcheDatenfürdieMessungvonSchulqualitätvonRelevanzsind.Hierbeibietetes sichan,aufdenProzessderWertzuschreibungzuverweisen:DanachwirdimProzesszwischen KlassifizierungundWertzuschreibungunterschieden.EineKlassifizierungistbeispielsweise die Unterscheidung zwischen Berufsklassen und die anschließende Wertzuschreibung wäre die Hierarchisierung von Berufsklassen. Dabei würde die Klassifizierung dem „deskriptiven“

Vorgehen der Schulinspektionen entsprechen und der Schritt der Wertzuschreibung würde den Schulen überlassen werden. Wie bereits in Kapitel 4 dargestellt, ist auch die Klassifizierung nichts Naturgegebenes (vgl. Durkheim und Mauss 1987, S. 176). So werden durch Klassifizie-rungen bestimmte Perspektiven auf die Wirklichkeit sichtbar. In Bezug auf die Schulinspektion impliziert dies, dass Items wie „Die Lehrkraft ist Sprachvorbild“ insofern nicht mehr neutral sind, als hier bereits eine Entscheidung darüber getroffen wird, dass dieses Merkmal für die Messung von Schulqualität notwendig sei. Daran anknüpfend zeigt sich auch in der Praxis, dass derdeskriptiveTeilvonSeitenderSchuletrotzdemalsWertungverstandenwird:„Aberdas ist- eherdie- ähm- dieSelbstwahrnehmung:<Jetztsindwirschlecht>.AlsodieseFormvon<wir sindbewertetworden>- dasisteherdieWahrnehmungderSchulezusagen<diehabenunsjetzt schlechtbewertet>.Inspektorensagen:<nein,wirhabenhierkeineWertungausgesprochen- wir stelleneinfachfest- beieuchistderStandsoundso.DasBewerten- daspassiertbeieuch>“(Int.

11_16).IndiesemZusammenhangstelltsichauchdieFrage,inwieferndieDaten,dievon Seiten der Schulinspektion erhoben werden, dem Verständnis von guter Schule von Seiten der jeweiligen Schule stets entsprechen. So könnte es sein, dass eine Schule andere Items formulieren würde, um die Qualität von Schule zu messen.

Durch die Erhebung von Daten werden nicht nur Schwerpunkte darin gelegt, welche Daten für die Messung von Schulqualität von Relevanz sind. Darüber hinaus könnte man argumentie-ren, dass bei bestimmten Items der Erwartungshorizont hinsichtlich der Ergebnisse klar ist. Beispielsweise gibt es das Item „Der Unterricht fängt pünktlich an“. Eine deskriptive Rückmeldung würde beispielsweisen bedeuten, dass einer Schule zurückgemeldet wird, dass 30 Prozent des beobachteten Unterrichts pünktlich anfängt und keine Bewertung darüber stattfindet,obdieszufriedenstellendist.IndiesemFallstelltsichdieFrage,inwieferneine BewertungdurchdieInspektor_innenüberhauptnochnotwendigist,weileinpünktlicher UnterrichtsbeginnimFallvonDeutschlandeineallgemeinanerkannteNormdarstellt.(Auch wenneshiersicherlichAbweichungendazugibt,wievielProzentdesUnterrichtspünktlich anfangensollte.)DesWeiterenwurdeindenInterviewsdeutlich,dassdieneutralePosition vonSeitenderSchulinspektionnichtimmereingehaltenwird.AufdieFrage,wiedamit umzugehen ist, wenn eine Schule für sich selbst in Ordnung findet, wenn die Lehrkräfte immer

Relevante Impulse beim Sensemaking 177

unpünktlich sind, antwortet ein Instrumentenentwickler: „Dann würden wir das so aufschreiben.

Also dass aus unserer Sicht eine Nutzung der Unterrichtszeit nicht gewährleistet ist. Weder konzep-tionell noch durch das Verhalten der Lehrkräfte oder der Leitung der Schule. Und wenn dann die Lehrkräfte zum Beispiel sagen, ist uns aber egal, dann ist über unsere Schleife auf der Ebene, auf der Basis des Berichts, in dem dann so etwas steht. Ne, wenn wir jeden Tag nach der großen Pause gehen ungefähr 10 Minuten verloren, das macht im Schuljahr ne 5700 Minuten pro Schüler. Dass macht in der Schullaufbahn so und so viel Unterrichtsausfall aus. Das steht dann da. Das rechnen wir dann aus. Damit man das schön griffig machen kann. Und dann sitzen also auf der, mit dem Bericht, sitzen da Eltern und Schüler und lesen das und dann sagen Lehrer, ist uns aber egal. Und neSchulaufsichtliestdasauch.DenndieSchulemusshinterheraufderBasisvonEntscheidungen, desGremiumSchulkonferenzmitSchülern,Eltern,LehrkräfteaneinemTisch,mussdannhaltdie Schule,imPrinzipSchulleitungeineZielvereinbarungschließenmitderSchulaufsicht.Unddie SchulaufsichtliestauchdenBericht.AlsowirmeldenDingezurück,auchDingediebedenklich sind,unddasstehtdannauchsoetwasausunsererSichtistdringenderforderlichsichmitdieser OrganisationsformoderdiesemOrganisationsmodellähfürdenUnterrichteinerSchulezubefassen“

(Int. 5_29).

Demnach wird insofern keine Wertung ausgesprochen, als nicht gesagt wird, dass die Unpünkt-lichkeit in Bezug auf Unterrichtsbeginn gut oder schlecht sei. Aber es werden im Bericht die Implikationen des Handelns dargestellt, die in diesem oben genannten Zitat eine deutliche Wertung enthalten. Die Wertung spiegelt sich nicht im Geben einer „Note“ wider, sondern in der Formulierung des Handlungsbedarfs. Wie bereits oben erwähnt, zeigt sich in der An-wendung von einem vermeintlich „deskriptiven“ Teil, dass sie sich primär in der Funktion des Impulsgebers und nicht in der Kontrollfunktion sehen. Hierbei ist jedoch zu beachten, dass die Rahmenbedingungen der Evaluation trotzdem kontrollierende Elemente haben, z. B. dass die Schulinspektion(außerinSchleswig-Holstein)nichtfreiwilligist.

IndiesemZusammenhangistzuberücksichtigen,dassesauchSchulinspektionengibt,dieauf einendeskriptiveBeschreibungderbeobachtetenProzesseverzichten:Nö,wirbewertendisschon.

Alsowir- dabinichauch- wie-.DieDebattegibtsimmerwieder.UndesgibtauchInspektorn,die Ihnensagenwürden:<Ichwürdamliebstennichbewerten>.So.Aberichfindeeinfach,wirhabn denAuftrag.Wirsind- Dasisebendas,wasdenn,wennmansichdieFunktionanguckt,wirddas sofort klar. Das is diese Spannung. Und ich finde, die muss man aushalten. So <lachen>. Das is-Man kann die nich lösen. Also man wird da nich zu na abschließenden Lösung komm. Im Sinne von: <So machn wirs jetz, und jetz is das richtig, das Verhältnis>. Das wird immer auch dazu führen, dass man das Gefühl hat: Mh, hier werd ich einer Sache nich gerecht, hier werd ich einer Schule an na bestimmten Stell nich gerecht. (.) Aber so is dis. Aber ich finde deswegen einfach zu sagen, wir bewerten nich mehr. Dann vereinfacht man das zu stark“ (Int. 13_43).