interdisziplinärer Kooperation
3 Die Entwicklung von Kompetenzstufenmodellen .1 Varianten von Kompetenzmodellen
Bei der Modellierung von Kompetenzen kann zwischen verschiedenen Perspektiven oder Zielvorstellungen unterschieden werden. Häufig steht die Graduierung einzel-ner Kompetenzen oder bestimmter Kompetenzbereiche in Niveaus oder Stufen im Zentrum. Kompetenzstufen- oder Kompetenzniveaumodelle stellen dar, auf welcher Stufe, also bei welcher Ausprägung einer Kompetenz, welche konkreten kogniti-ven und ggf. sprachlichen Anforderungen bewältigt werden können (vgl. Klieme/
Leutner 2006, S. 883). Dies kann beispielsweise empirisch ermittelt werden, in-dem gelöste Testaufgaben bzw. -items nach ihrer Schwierigkeit geordnet und hinsichtlich ihrer kognitiven Anforderungen analysiert und beschrieben werden.
Unabhängig hiervon kann aber auch die Struktur eines Kompetenzbereichs the-matisiert werden. Dies ist sowohl aus theoretischer Perspektive als auch auf Basis empirischer Daten möglich. Welche und wie viele verschiedene Dimensionen in einem spezifischen Kompetenzbereich unterschieden werden können, bil-den Kompetenzstrukturmodelle ab. Zusätzlich ist auch die Modellierung der Kompetenzentwicklung im Zeitverlauf möglich. Kompetenzentwicklungsmodelle beziehen sich auf die Veränderung der Kompetenz über die Zeit hinweg und dar-auf, wie sich Kompetenzdimensionen verändern und inwieweit mit fortschreitender Entwicklung komplexere Anforderungen bewältigt, also höhere Kompetenzniveaus erreicht werden (Pant et al. 2012, S. 50).
Ob bei der Kompetenzmodellierung Aspekte der Struktur, des erreichten Niveaus oder der Kompetenzentwicklung im Vordergrund stehen, hängt wesent-lich von den Zielen ab, die mit der jeweiligen Modellentwicklung verfolgt werden.
Im Zuge der Überprüfung des Erreichens der Bildungsstandards in Länderver-gleichsstudien sollen zu jeweils bestimmten Zeitpunkten in den Bildungsver-läufen der Kinder und Jugendlichen bilanzierende Aussagen über das Spektrum von Kompetenzen getroffen und Verteilungsaussagen zu den im Bildungssystem erreichten Kompetenzen ermöglicht werden. Zu diesem Zweck werden empirisch fundierte Kompetenzstufenmodelle benötigt, die für jede als relevant angesehene (Teil-)Kompetenz Graduierungen der gemessenen Fähigkeiten in Kompetenz-stufen erlauben (ebd., S. 50). Mit Hilfe solcher Modelle ist es möglich, sowohl
Iris Winkler and Frederike Schmidt - 978-3-631-69285-1
die Testergebnisse von Schülerinnen und Schülern als auch die einzelnen Test-aufgaben inhaltlich definierten Kompetenzniveaus zuzuordnen.
Die Entwicklung solcher Kompetenzstufenmodelle erfolgt immer in einem Ab-stimmungsprozess zwischen Wissenschaft, Schulpraxis und Bildungspolitik. Im Zuge dieses Aushandlungsprozesses wird die kontinuierliche Kompetenzskala in Abschnitte, sogenannte Kompetenzstufen, untergliedert und es werden Aussagen darüber getroffen, welche durch das Aufgabenmaterial konkretisierten Anforde-rungen von den Schülerinnen und Schülern auf einer bestimmten Kompetenz-stufe mit hoher Wahrscheinlichkeit bewältigt werden können. Neben konkreten Aufgabenbeispielen umfassen Kompetenzstufenmodelle immer auch fachdidak-tisch und empirisch fundierte Beschreibungen, über welche Kompetenzen Schü-lerinnen und Schüler, die eine bestimmte Stufe erreicht haben, typischerweise verfügen. Kompetenzstufenmodelle bieten somit eine Möglichkeit, empirisch zu bestimmen, inwieweit Schülerinnen und Schüler die in den Bildungsstandards formulierten Kompetenzerwartungen zu einem bestimmten Zeitpunkt bereits er-reicht haben. Wie die Entwicklung von Kompetenzstufenmodellen im Einzelnen erfolgt, wird im nachfolgenden Abschnitt beschrieben.
3.2 Allgemeine Schritte der Entwicklung von Kompetenzstufenmodellen
Im Rahmen der Item Response Theory besteht die Möglichkeit, die Fähigkeiten von Personen und die Schwierigkeiten von Items auf einer gemeinsamen Skala zu ver-orten. Diese Eigenschaft macht man sich bei der Definition von Kompetenzstufen zunutze. So kann beispielsweise ein Item, das einen Schwierigkeitswert von 600 aufweist, in Hinblick darauf analysiert werden, welche kognitiven und ggf. sprach-lichen Operationen zu seiner Lösung erforderlich sind. Dies wiederum lässt den Rückschluss zu, dass Personen, die einen Skalenwert von 600 Punkten oder mehr erreicht haben, die zur Lösung dieses Items erforderlichen kognitiven Operationen mit hoher Wahrscheinlichkeit beherrschen. Erweitert man diese Idee, so kann man viele Items in ihrer Schwierigkeit betrachten und Punktwerte (im Sinne von Grenzen) auf der kontinuierlichen Kompetenzskala definieren, bei denen sich die Items hinsichtlich ihrer kognitiven Anforderungen qualitativ verändern, also in inhaltlich beschreibbarer Weise komplexer werden (Pant et al. 2012, S. 52).
Die Festlegung von Schwellenwerten (Cut-Scores) erfolgt im Zuge einer Kom-petenzstufensetzung, die im englischsprachigen Raum als Standard-Setting (Cizek 2001; Cizek/Bunch 2007) bezeichnet wird. Hierbei wird die Kompetenzskala in sukzessive Teilbereiche – sogenannte Kompetenzstufen oder Kompetenzniveaus – eingeteilt (vgl. Pant et al. 2010).
Iris Winkler and Frederike Schmidt - 978-3-631-69285-1
In Vorbereitung des Standard-Settings werden die Schwierigkeiten der Items und die Fähigkeiten der Personen zunächst auf einer Skala mit einer geeigneten Metrik dargestellt. Für die Entwicklung der integrierten Kompetenzstufenmodelle wurde bspw. eine Metrik gewählt, bei der die Referenzpopulation einen Mittel-wert von 500 Punkten und eine Standardabweichung von 100 Punkten aufweist.
Die Referenzpopulation bilden in diesem Fall alle Schülerinnen und Schüler der neunten Jahrgangsstufe, die mindestens den Hauptschulabschluss anstreben, da sich die integrierten Kompetenzstufenmodelle auf die Kompetenzstände die-ser Schülerschaft beziehen. Aus den richtigen und falschen Schülerantworten werden die empirischen Schwierigkeiten aller Items ermittelt. Diese Items bzw.
eine repräsentative Auswahl der Items werden anschließend in der Reihenfolge ihrer empirischen Schwierigkeit in einem Dokument zusammengestellt, das als geordnetes Itemheft oder Ordered Item Booklet bezeichnet wird.
Die vom IQB durchgeführten Standard-Setting Verfahren stützen sich auf die Einschätzungen und Urteile von Vertreterinnen und Vertretern aus Wissenschaft und Praxis und beziehen Expertinnen und Experten aus den Bereichen Fachdi-daktik, Testentwicklung, Schulpraxis und Bildungsadministration ein. Das bereits erwähnte Itemheft stellt die Basis für den Austausch dieser Expertinnen und Ex-perten dar. Auf Grundlage des Itemhefts erörtern alle Beteiligten die kognitiven und ggf. sprachlichen Anforderungen der Items und diskutieren die Konsequen-zen verschiedener möglicher Grenzwerte. Die vorgeschlagenen Cut-Scores sowie die kognitiven und sprachlichen Operationen beziehen sich also immer auf die Anforderungen und Merkmale konkreter Items, die im Test und somit auch im Itemheft enthalten sind. Daher besteht der nächste Schritt bei der Entwicklung von Kompetenzstufenmodellen in der Ermittlung dieser kognitiven und sprach-lichen Anforderungen der einzelnen Items und in der Klärung der Frage, wo-durch sich jeweils weniger anspruchsvolle Items von anspruchsvolleren Items unterscheiden. In diesen Prozess wurden verschiedene theoretische Grundlagen und Vorarbeiten aus anderen Staaten und anderen großen Schulleistungsstudien einbezogen.
Interessant ist hierbei, dass die empirische Schwierigkeit eines Items keinesfalls immer dem aufgrund der Itemeigenschaften erwartbaren Schwierigkeitsniveau entspricht. So können mitunter zwei Items desselben Formats, die sehr ähnliche kognitive und sprachliche Anforderungen stellen, aber aus unterschiedlichen Aufgaben stammen, für die Schülerinnen und Schüler unterschiedlich schwer zu lösen sein. Bei Lese- und Zuhöraufgaben kommt also neben den Merkmalen der Items auch der Einfluss des jeweiligen Stimulustextes (bspw. Art, Umfang und Thema) zum Tragen. Dies kann dazu führen, dass die Bearbeitung von Items zu einem Text, von dem sich die Schülerinnen und Schüler in besonderer Weise
Iris Winkler and Frederike Schmidt - 978-3-631-69285-1
angesprochen fühlen, leichter fällt, als die Bearbeitung von analogen Items zu einem weniger ansprechenden Text.
Im Zuge der Festlegung der Grenzwerte werden die unterschiedlichen Perspek-tiven und Prioritäten der beteiligten Personen deutlich. So haben beispielsweise Lehrkräfte oft einzelne, konkrete Schülerinnen und Schüler vor Augen und über-legen, welche Schülerin und welcher Schüler welche aufgabenseitigen Anforderun-gen bereits mit größerer Sicherheit bewältiAnforderun-gen kann. Hierbei spielen individuelle Erfahrungen oftmals eine große Rolle. So wird beispielsweise eine Lehrkraft aus einer sehr leistungsstarken Klasse andere Mindest- und Regelerwartungen äußern als eine Lehrkraft, die in einer Klasse unterrichtet, in der viele Schülerinnen und Schüler schwächere Leistungen zeigen und mehr Unterstützung benötigen. Diese verschiedenen Erwartungshaltungen können zu Unterschieden in den vorgeschla-genen Grenzwerten führen. Aus fachdidaktischer und bildungswissenschaftlicher Perspektive kommen insbesondere die aufgabenseitigen Anforderungen zum Tra-gen. Hierbei steht das Bemühen im Vordergrund, Gemeinsamkeiten von Aufgaben innerhalb eines bestimmten Schwierigkeitsbereichs zu identifizieren und diese fachsprachlich treffend und gleichzeitig so verständlich wie möglich zu beschrei-ben. Außerdem kommt eine normative Sichtweise ins Spiel, da die wissenschaftli-chen Vertreter oftmals von der Frage ausgehen, was die Jugendliwissenschaftli-chen aus fachlicher Sicht mindestens oder in der Regel können sollten. Auf Seiten der Vertreterinnen und Vertreter der Bildungsadministration wiederum stellt sich auch die Frage, wel-che Grenzsetzungen zu welwel-chen Verteilungen von Schülerinnen und Schülern auf die verschiedenen Kompetenzstufen führen. In diesem Kontext ist unter anderem die Frage zentral, wie viele Kinder und Jugendliche einen bestimmten Mindest-standard nicht erreichen und in diesem Sinne als besonders förderbedürftig gelten.
Durch den intensiven Austausch und die Berücksichtigung der jeweils resultie-renden empirischen Verteilungen erfolgt eine Konsensfindung der Expertinnen und Experten bzgl. der konkreten Grenzwerte auf der kontinuierlichen Kompe-tenzskala. Während dieses Arbeitsschrittes wechseln Phasen individueller Überle-gungen der einzelnen Expertinnen und Experten mit Phasen des Austauschs und der Diskussion ab. Zentral ist ein Vergleich der individuell gesetzten Grenzwerte mit den von anderen Experten gewählten Grenzwerten. Dieser Vergleich erfolgt sowohl im Rahmen kleinerer Gruppendiskussionen als auch in Paneldiskussionen mit allen Beteiligten. In diesen Gesprächen können die Beweggründe und die jeweils zugrundeliegenden Rationalen für die individuell gesetzten Schwellen erläutert werden und es findet ein Austausch über die jeweiligen Konsequenzen statt. Als Ergebnis dieses iterativen Verfahrens aus individuellen Setzungen und
Iris Winkler and Frederike Schmidt - 978-3-631-69285-1
Diskussionsphasen resultieren letztlich konkrete Grenzwerte, die den Übergang von einer Kompetenzstufe zur nächsten markieren.
Abb. 2: Schematische Darstellung der Festlegung von Cut-Scores im Standard- Setting-Prozess
Abbildung 2 zeigt schematisch, dass beim Standard-Setting auf dem Kontinuum der Kompetenzskala durch die Setzung von Cut-Scores festgelegt wird, wo sich jeweils Übergänge zwischen Aufgabengruppen befinden, die abgrenzbare An-forderungen beinhalten und zu deren Lösung zunehmend komplexere kognitive und sprachliche Fähigkeiten notwendig sind. Da die empirischen Schwierigkeiten aller Items bekannt sind und diese ihrer Schwierigkeit nach geordnet im Itemheft aufgeführt sind, kann für jeden Cut-Score zwischen zwei Items ein konkreter Ska-lenwert bestimmt werden, der als obere bzw. untere Grenze einer Kompetenzstufe dient. Die inhaltliche Beschreibung der Kompetenzstufen erfolgt dann anhand der entsprechenden Fähigkeiten, die erforderlich sind, um die jeweiligen Anfor-derungen der Items in diesem Skalenabschnitt erfolgreich zu bewältigen. Um zu verdeutlichen, über welche konkreten Kompetenzen Schülerinnen und Schüler auf den jeweiligen Stufen verfügen, werden Könnensbeschreibungen formuliert (z. B. „Schülerinnen und Schülern auf der untersten Kompetenzstufe gelingt es, Einzelinformationen in einem Text zu lokalisieren …“).
In einem letzten Schritt erfolgt die Bestimmung, welcher Skalenabschnitt welchen Kompetenzerwartungen entspricht. Es muss also festgelegt werden, ab welchem Niveau die Vorgaben der Bildungsstandards erfüllt sind. Im Sinne der von Klieme et al. (2007) eingeforderten Differenzierung werden hierbei verschie-dene Niveaus festgelegt und Überlegungen zu Mindest- und Optimalstandards
Iris Winkler and Frederike Schmidt - 978-3-631-69285-1
formuliert. Hierfür wurden die folgenden Festlegungen getroffen (Pant et al.
2012, S. 54f.):
• Mindeststandards beziehen sich auf ein definiertes Minimum an Kompetenzen, das alle Schülerinnen und Schüler bis zu einem bestimmten Bildungsabschnitt erreicht haben sollen. Diese unterschreiten die in den Publikationen der KMK festgelegten Kompetenzerwartungen der Regelstandards. Sie beschreiben je-doch ein Kompetenzniveau am Ende der Sekundarstufe I, von dem angenom-men werden kann, dass sich Schülerinnen und Schüler, die dieses erreichen, bei entsprechender Unterstützung erfolgreich in die berufliche Erstausbildung integrieren werden.
• Regelstandards beziehen sich auf Kompetenzen, die im Durchschnitt von den Schülerinnen und Schülern bis zu einem bestimmten Bildungsabschnitt erreicht werden sollen und den von der KMK definierten Kompetenzzielen entsprechen.
• Als Regelstandard plus wird ein Leistungsbereich definiert, der über dem Re-gelstandard liegt und als Zielperspektive für die Weiterentwicklung von Un-terricht angesehen werden kann.
• Optimalstandards beziehen sich auf Leistungserwartungen, die bei sehr guten oder ausgezeichneten individuellen Lernvoraussetzungen und der Bereitstel-lung besonders günstiger Lerngelegenheiten innerhalb und außerhalb der Schule erreicht werden können und die bei weitem die Erwartungen der Bil-dungsstandards übertreffen.