Teil 2
Andrea Tietjen / PädQuis gGmbH – ein Kooperationsinstitut der FU in Berlin In der letzten Kitadebatte 02/20061wurde über die Ergebnisse des 1. Teils der Nachuntersu-chung zu den brandenburigschen Kitawettbe-werben von 2003/2004 und 2005/2006 berich-tet. Die an den Kitawettbewerben beteiligten pädagogischen Fach- und Leitungskräfte hat-ten im Rahmen einer schriftlichen Befragung angegeben, wie sinnvoll und effektiv sie die Teilnahme am jeweiligen Wettbewerb und an den damit verbundenen Evaluationen fanden.
Auch wurden die subjektiven Einschätzungen der durch die Kitawettbewerbe angestoßenen Qualitätsverbesserungen erfragt. Diese wur-den von wur-den Fach- und Leitungskräften als hoch eingestuft.
Neben dieser internen Evaluation sollte in einem zweiten Teil der Nachuntersuchung herausgefunden werden, ob sich die subjekti-ven Einschätzungen der Fach- und Leitungs-kräfte durch externe Beobachtungen bestäti-gen ließen (externe Evaluation). Ziel war es, herauszufinden, inwieweit sich die pädagogi-sche Qualität in den Einrichtungen tatsächlich verbessert hat und wie die verschiedenen Gruppen aus den befragten Einrichtungen dabei abgeschnitten haben. Dazu wurden 20 Kindertageseinrichtungen aus dem 2.
Kitawett-bewerb per Zufallsverfahren ausgewählt und um die Bereitschaft zu einer Teilnahme an einer zweiten externen Evaluation gebeten. Im Vordergrund standen dabei folgende Fragen:
– Inwieweit hat sich in diesen 20 Einrichtun-gen die Qualität der Kindergarten-, Krip-pen- bzw. Hortgruppen verändert (Grup-penebene)?
– Hat sich die Qualität in den Einrichtungen insgesamt verbessert
(Einrichtungsebene)?
– Inwieweit genügen die untersuchten Kin-dertageseinrichtungen den Anforderungen des Deutschen Kindergarten Gütesiegels?
Die Inhalte und Ergebnisse dieser zwei Jahre nach dem 2. Kitawettbewerb durchgeführten Untersuchung werden im Folgenden vorge-stellt.
Welche Einrichtungen und Gruppen wur-den evaluiert?
In der Eingangs-Evaluation im Jahr 2003/2004 waren insgesamt 82 Kindergartengruppen aus 50 Einrichtungen hinsichtlich ihres Qualitätsni-veaus extern evaluiert worden. Von diesen wurden im Jahr 2005/2006 aus 20 Einrichtun-gen 29 Kindergartengruppen noch einmal eva-luiert. Die Anzahl der Krippengruppen belief sich in der Eingangs-Evaluation auf 37 aus 33 Einrichtungen, davon wurden in der zweiten Evaluation 14 Krippengruppen aus 14 Einrich1 Tietjen, Andrea (2006), Helfen Kitawettbewerbe bei der Entwicklung pädagogischer Qualität? (Teil Einrich1, S. 56
-61). In: Kita-Debatte 2/2006, Was du nicht willst, das man dir tu’…. Soziales Leben von Kindern heute.
Ministerium für Bildung, Jugend und Sport des Landes Brandenburg.
www.mbjs.brandenburg.de/kita/kita-startseite
tungen noch einmal untersucht. Bei den Hort-gruppen betrug die Anzahl in der ersten Runde 31 aus insgesamt 21 Einrichtungen, in der zweiten noch 7 aus 6 Einrichtungen. Es han-delte sich somit bei der zweiten Evaluation um eine Unterauswahl aus der Gesamtheit der 2003/2004 evaluierten Gruppen und Einrich-tungen. Um einen ’Vorher-Nachher’-Vergleich durchführen zu können, wurden ausschließlich
die Gruppen berücksichtigt, bei denen die Fachkräfte zu beiden Messzeitpunkten (2003/2004 und 2005/2006) identisch waren.
Abbildung 1 gibt eine tabellarische Übersicht über die Verteilung der untersuchten Gruppen, Einrichtungen und Untersuchungsinstrumente.
Inhalte und Durchführung der Evaluation Im Vordergrund der Untersuchung standen mögliche Veränderungen in der pädagogi-schen Prozessqualität insgesamt und differen-ziert nach den Bereichen ’Platz und Ausstat-tung’, ’Betreuung und Pflege der Kinder’,
’Sprachliche und kognitive Anregungen’, ’Akti-vitäten’, ’Interaktionen’, ’Strukturierung der pädagogischenArbeit’ und ’Eltern und Erziehe-rinnen’. Die Datenerhebung anhand der Kin-dergartenskala (KES-R), der Krippenskala
(KRIPS-R) und der Hort- und Ganztagspfleg-eskala (HUGS) erfolgte durch für diesen Zweck geschulte Beobachter/-innen. Die Beobachtun-gen in den Gruppen umfassten drei Stunden, es schlossen sich ca. 1,5-stündige Interviews mit den beobachteten pädagogischen Fach-kräften an. Zusätzlich wurden alle Instrumente zur Erfassung der für eine Gütesiegelüberprü-fung erforderlichen Dimensionen der Prozess-,
Struktur- und Orientierungsqualität sowie der Qualität der Elternbeteiligung eingesetzt. Um feststellen zu können, ob Verbesserungen in der Prozessqualität zu verzeichnen waren, wurde ein direkter Vergleich der Ergebnisse der Evaluationen der Kindergarten-, Hort- und Krippengruppen von 2003/2004 und 2005/2006 vorgenommen.
Hat sich die Qualität in den Kindergarten-gruppen langfristig verbessert?
Bei der Eingangs-Evaluation hatten die Kinder-gartengruppen unter Berücksichtigung aller genannten Bereiche einen Mittelwert von 4,13 auf der Messskala von 1-7 erreicht (1= unzurei-chende Qualität, 3= minimale Qualität, 5= gute Qualität, 7= ausgezeichnete Qualität). In der
100 HELFEN KITAWETTBEWERBE
Abb. 1: Untersuchte Kindergarten-, Krippen-, Hortgruppen, Einrichtungen und Instrumente 2003/2004 und 2005/2006
2003/2004 2005/2006 Instrumente
82 Kindergartengruppen
(50 Einrichtungen) 29 Kindergartengruppen
(20 Einrichtungen) untersucht mit der Kindergartenskala (KES-R) 37 Krippengruppen
(33 Einrichtungen) 14 Krippengruppen
(14 Einrichtungen) untersucht mit der Krippenskala (KRIPS-R)
31 Hortgruppen
(21 Einrichtungen) 7 Hortgruppen
(6 Einrichtungen) untersucht mit der Hort- und Ganztagspflegeskala (HUGS)
zweiten Evaluation zwei Jahre später war die-ser Mittelwert auf einen Wert von 4,19 nur leicht angestiegen. Die Kindergartengruppen hatten sich in den betrachteten Bereichen also insgesamt kaum verbessert. Die Abbildung 2stellt die Mittelwerte von 2003/2004 und 2005/2006 grafisch dar (SD= Standardabwei-chung; Die Standardabweichung wird als Maß dafür, wie stark die Werte in den einzelnen Gruppen um den gemeinsamen Mittelwert streuen, verstanden):
Abb. 2: Mittelwerte der Qualitätsbereiche aller 2003/2004 und 2005/2006 untersuchten Kindergartengruppen
Hinter den Gesamtwerten können unterschied-liche Tendenzen stehen. Die statistische Ana-lyse zeigt beispielsweise, dass sich die unter-suchten Kindergartengruppen im Durchschnitt am stärksten in den Bereichen ’Strukturierung der pädagogischen Arbeit’, ’Interaktionen’ und
’Aktivitäten’ verbesserten, geringe Verbesse-rungen waren im Bereich ’Eltern und Erziehe-rinnen’ zu verzeichnen. Es zeigten sich zudem in den meisten Kindergartengruppen Ver-schlechterungen in den Bereichen ’Betreuung und Pflege’, ’Sprachliche und kognitive Anre-gungen’ und im Bereich ’Interaktionen’. Insge-samt verbesserte sich die Qualität in 24
Grup-pen leicht, während sie sich in fünf GrupGrup-pen verschlechterte. Die Qualitätsänderungen der Kindergartengruppen waren insgesamt statis-tisch nicht signifikant, d.h., es kann mit hoher Wahrscheinlichkeit davon ausgegangen wer-den, dass sich die Veränderungen zufällig ergeben haben.
Hat sich die Qualität in den Krippengruppen langfristig verbessert?
Die Krippengruppen hatten bei der Eingangs-Evaluation einen Mittelwert über alle Bereiche hinweg von nur 3,62 erzielt, bei der zweiten Evaluation hatten sich die Gruppen allerdings deutlich auf einen Wert von 4,46 verbessert. In Abbildung 3 werden die Mittelwerte grafisch dargestellt:
Abb. 3: Mittelwerte der Qualitätsbereiche aller 2003/2004 und 2005/2006 untersuchten Krippengruppen
Bei den Krippengruppen ergaben sich - wie bei den Kindergartengruppen – im Durchschnitt deutliche Verbesserungen im Bereich der
’Strukturierung der pädagogischen Arbeit’.
Zusätzlich verbesserten sie sich in den Berei-chen ’Platz und Ausstattung’, ’Eltern und Erzie-herinnen’, ’Betreuung und Pflege’ und in den
zwei in der Krippenskala enthaltenen Zusatz-merkmalen ’Eingewöhnung’ und ’Einbezug der familiären Lebensumwelt’. Bei drei Gruppen konnten insgesamt leichte Verschlechterungen festgestellt werden, während sich die Qualität in den anderen 11 Gruppen deutlich verbes-serte. Insgesamt waren die Qualitätsverbesse-rungen der Krippengruppen statistisch auf dem 1%-Niveau signifikant, d.h., die Wahrschein-lichkeit, dass die Verbesserungen nicht durch Zufall zustande kamen, sondern dass sie tat-sächlich gegeben sind, ist sehr hoch.
Hat sich die Qualität in den Hortgruppen langfristig verbessert?
Die Hortgruppen starteten bei der Eingangs-Evaluation mit einem Mittelwert von 4,23. Ende 2005, Anfang 2006 hatten sie einen Mittelwert von 5,05. Auch sie hatten ihre Qualität also beträchtlich weiter entwickelt. Die Abbildung 4 stellt die Mittelwerte grafisch dar:
Abb. 4: Mittelwerte der Qualitätsbereiche aller 2003/2004 und 2005/2006 untersuchten Hortgruppen
In den Hortgruppen, die von Anfang an auf dem relativ höchsten Niveau gestartet hatten, verbesserte sich die Qualität in allen unter-suchten Bereichen erheblich. Im Gegensatz zu
den Kindergarten- und Krippengruppen ver-schlechterte sich keine der im Hortbereich untersuchten Gruppen. Insgesamt waren die Qualitätsverbesserungen der Hortgruppen sta-tistisch auf dem 1%-Niveau signifikant.
Hat sich die Qualität in den Einrichtungen insgesamt langfristig verbessert?
In allen untersuchten Kindertageseinrichtun-gen gab es Kindergartengruppen, in nicht allen Einrichtungen waren Krippen- oder Hortgrup-pen vertreten. Um zu untersuchen, ob sich die Einrichtungen bei verschiedener Zusammen-setzung der Gruppen insgesamt im Durch-schnitt verbessert hatten, wurde auch auf Ein-richtungsebene ein “Vorher-Nachher“-Ver-gleich angestellt. Während die Einrichtungen insgesamt 2003/2004 einen Mittelwert von 4,14 hatten, lag dieser 2005/2006 bei 4,77.
Abbildung 5 stellt die Mittelwerte grafisch dar:
Abb. 5: Gesamt-Mittelwerte der Qualitätsbe-reiche aller 2003/2004 und 2005/2006 unter-suchten Einrichtungen
Es zeigen sich damit auch auf Einrichtungs-ebene deutliche Qualitätsverbesserungen.
Im Durchschnitt verbesserten sich die Einrich-tungen um einen Wert von 0,63
Skalenpunk-102 HELFEN KITAWETTBEWERBE
ten. Dies ist ein sehr positives Ergebnis. Die Ergebnisse zeigen, dass sich alle Einrichtun-gen mit dem Thema „Qualität“ beschäftigt haben und dass die Verbesserungen durch externe Evaluationen nachzuweisen sind.
Auch die Qualitätsverbesserungen auf Einrich-tungsebene waren statistisch auf dem 1%-Niveau signifikant.
Die untersuchten brandenburgischen Kin-dertageseinrichtungen: vorher schon gut – nachher noch besser!
Wie die Untersuchung der Gruppen und der Bereiche gezeigt hat, konnten sich die meisten, aber nicht alle Gruppen der Einrichtungen erheblich verbessern. Praktisch keine Verbes-serungen haben, wie bereits erläutert, die Kin-dergartengruppen erzielt (Verbesserung um einen Wert von 0,06). Am stärksten verbesser-ten sich die Krippengruppen (Verbesserung um einen Wert von 0,84), dicht gefolgt von den Hortgruppen mit einer Verbesserung um einen Wert von 0,82. Insgesamt muss bezüglich der Krippengruppen hervorgehoben werden, dass die Krippenskala einen strengeren Bewer-tungsmaßstab im Hinblick auf Sicherheitsvor-kehrungen, bestimmte Angebote, Betreuung und Pflege der Kinder, Beaufsichtigung etc.
anlegt als die Kindergarten- und die Hort- und Ganztagspflegeskala. Dies liegt darin begrün-det, dass die Beachtung bestimmter Kriterien für jüngere Kinder von noch größerer Bedeu-tung für deren Entwicklung und Sicherheit ist als für die älteren. Aufgrund des strengeren Bewertungsmaßstabs schneiden Krippengrup-pen erfahrungsgemäß durchschnittlich eher schlechter ab als die anderen Gruppen. Umso
interessanter ist, dass die untersuchten bran-denburgischen Krippengruppen zwar in der Eingangs-Evaluation tatsächlich etwas schlechter abschnitten als die Kindergarten-und Hortgruppen, in der Nachfolge-Evaluation jedoch im Durchschnitt vor den Kindergarten-gruppen lagen, sich ihr Qualitätsstand wie oben ausgeführt also zwischen 2003/2004 und 2005/2006 vergleichsweise stärker verbes-serte. Offensichtlich haben also am stärksten die Fachkräfte der Krippengruppen von den Evaluationen und Rückmeldungen profitiert und diese als Auslöser für nachhaltige Quali-tätsentwicklung genutzt. Erfahrungen hinsicht-lich der Durchführung von Evaluationen und Rückmeldungen der Ergebnisse zeigen, dass es immer auch einige pädagogische Fach-kräfte gibt, die trotz Evaluation, individueller Rückmeldungen der Ergebnisse und Anregun-gen zur Qualitätsentwicklung kaum oder keine Veränderungen initiieren.
Die starke Streuung der Werte der einzelnen Gruppen um den jeweiligen Mittelwert (SD), die in der zweiten Evaluation deutlich zuge-nommen hat, bestätigt dies. Die Mehrzahl der Fachkräfte nutzt solche Impulse jedoch konstruktiv und mit der Konsequenz, dass sich durchgeführte Qualitätsverbesserungen durch externe Beobachtungen nachweisen lassen, wie die vorgestellte Nachuntersu-chung bestätigt.
Sind die Einrichtungen nach den Ergeb-nissen der zweiten Evaluation gütesiegel-fähig?
Die am Kitawettbewerb beteiligten Einrichtun-gen haben ihre Qualität über verschiedene
Bereiche hinweg weiter entwickelt. Aber waren sie auch gut genug, um die Standards des Deutschen Kindergarten Gütesiegels zu errei-chen?
Während die EinschätzskalenAspekte der Pro-zessqualität zum Schwerpunkt haben, umfasst das Gütesiegel darüber hinaus die Qualitäts-ebenen der Struktur- und Orientierungsqualität und bezieht auch die Qualität der Elternbeteili-gung mit ein.
Im Rahmen der zweiten Evaluation 2005/2006 wurden alle Bereiche und Kriterien einge-schätzt, die auch für das Gütesiegel relevant waren. DieAuswertung der Ergebnisse der ins-gesamt 20 untersuchten Einrichtungen zeigte, dass tatsächlich 12 Kindertageseinrichtungen so gute Qualität aufwiesen, dass sie das Deut-sche Kindergarten Gütesiegel erhalten konn-ten. Auf einer vom Ministerium für Bildung, Jugend und Sport und PädQUIS gemeinsam organisierten Veranstaltung wurde diesen Ein-richtungen daraufhin das Gütesiegel verliehen, mit dem die gute pädagogische Qualität in unterschiedlichen Bereichen extern bestätigt wird. Es ist für einen Zeitraum von drei Jahren gültig, danach muss eine erneute Evaluation in den Einrichtungen erfolgen, durch die festge-stellt wird, ob nach wie vor ein Qualitätsstand nachgewiesen werden kann, der dem Anspruch des Deutschen Kindergarten Güte-siegels entspricht.
Fazit und Ausblick
In vielen der brandenburgischen Kindertages-einrichtungen, die am zweiten Kitawettbewerb teilgenommen hatten, wurde die Qualität aktiv weiter entwickelt, 12 Einrichtungen haben das
Gütesiegel erhalten – ein Ergebnis, das sich sehen lassen kann und keinesfalls selbstver-ständlich ist. Dieses Ergebnis bestätigt außer-dem die Resultate des ersten Teils der Nach-untersuchung des Kitawettbewerbs, in dem die Fach- und Leitungskräfte ihre pädagogische Qualität subjektiv relativ hoch einschätzten und in dem sich bereits zeigte, dass die branden-burgischen Kindertageseinrichtungen mit einer hohen Bereitschaft zur Reflexion ihrer pädago-gischen Arbeit auf dem Weg sind, ihre Qualität langfristig zu verbessern. Insgesamt lassen sich aus der Nachuntersuchung folgende Schlüsse ziehen:
• Kitawettbewerbe regen zur nachhaltigen Qualitätsentwicklung an. Dies belegen sowohl die subjektiven Einschätzungen der beteiligten Fach- und Leitungskräfte als auch die objektiv gemessenen Ergeb-nisse der zweiten Evaluation.
• Es haben erhebliche Qualitätsverbesse-rungen (statistisch signifikante Verbesse-rungen), vor allem in den Hort- und Krip-pengruppen, stattgefunden.
• Es initiieren nicht alle pädagogischen Fachkräfte Qualitätsverbesserungen auf-grund von Impulsen wie Evaluationen und individuellen Rückmeldungen, somit profi-tieren nicht alle Gruppen und Einrichtun-gen in gleichem Maße von
Kitawettbewer-• Die Mehrheit der Fachkräfte greift solcheben.
Impulse jedoch als Anreiz zur langfristigen Qualitätsentwicklung auf, durchgeführte Veränderungen sind nachhaltig durch externe Beobachtungen nachweisbar.
• Die Qualität der überwiegenden Mehrheit
104 HELFEN KITAWETTBEWERBE
der untersuchten Kindertageseinrichtun-gen, die an dem Kitawettbewerb teilgenommen und eine differenzierte Qua-litätsrückmeldung erhalten hatten, ist auf einem hohen Niveau, was die Verleihung des Deutschen Kindergarten Gütesiegels bestätigt.
• Die untersuchten Einrichtungen repräsen-tieren einen Ausschnitt aus der branden-burgischen Kitalandschaft und zeigen damit, dass trotz unterschiedlicher struktu-reller Bedingungen, Trägerschaft, Konzep-tionen und Regionen gute pädagogische Qualität in Kindergarten-, Krippen- und Hortgruppen erreichbar und erstrebens-wert ist.
Kitawettbewerbe stellen einen guten Rahmen und Anlass dar, die Einrichtungen anzuregen, ihre Vielfalt und unterschiedlichen Stärken der Öffentlichkeit zu präsentieren.
Kontakt:
Andrea Tietjen PädQUIS gGmbH Unipostfach 8
Habelschwerdter Allee 45 14195 Berlin
Telefon: 030/83854664 E-Mail: info@paedquis.de www.paedquis.de
106 WAS – WANN – WO