Technology Based Assessment
Marc Rittberger
DIPF Frankfurt am Main DIPF Berlin
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies – PIAAC
• Fazit
Selbstverständnis:
• Erkenntnisgetriebene Grundlagenforschung, innovative Entwicklungsarbeiten und Anwendungen zum Nutzen der Gesellschaft im Bildungsbereich
• Bildungswissenschaftliche Forschung und nationales Kompetenzzentrum für Bildungsinformation zum Gelingen von Bildung, indem das DIPF
• Wissen über Bildung generiert
• Wissen über Bildung geordnet und strukturiert
• Wissen über Bildung aus historischer Perspektive betrachtet
• Kompetenz- und Kommunikationszentrum im Bildungswesen
• Mitglied der Leibnizgemeinschaft mit 85 weiteren Instituten
• 260 Beschäftigte
• 18 Professuren (davon 5 Juniorprofessuren, 3 Emeritus)
• > 100 Semesterwochenstunden Lehre
• ~ 50 DoktorandInnen
• > 22 Millionen Gesamtbudget
• >11 Millionen Drittmittel
DIPF 2010
Bildungsforschung
• Bildung und Entwicklung
• Lehr-Lern-Prozesse und kognitive Funktionen im Alter
• Bildungsqualität und Evaluation
• Schul- und Unterrichtsqualität sowie Kompetenzdiagnostik
• Steuerung und Finanzierung
• Indikatorenforschung, Bildungsrecht und Steuerungskonzepte im Schulwesen
PISA 09, PISA 12, PIAAC
Bildungsinformation
• Bibliothek für Bildungsgeschichtliche Forschung
• 1870 als Deutsches Schulmuseum gegründet
• Kommunikationszentrum für die historische Bildungsforschung
• Informationszentrum Bildung:
• ganzheitliche Unterstützung des
wissenschaftlichen Forschungsprozesses durch Information, Technologie und Beratungsleistung
und informationswissenschaftliche Forschung PISA 09, PISA 12, PIAAC
Pedocs, LZA, SCA, Mauswiesel, Lesen
Weltweit, Tagging, IWWB
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies – PIAAC
• Fazit
Technology Based Assessment
• Messung von Kompetenzen im Kontext der pädagogisch-psychologischen Diagnostik
kontextspezifische kognitive Leistungsdispositionen
• Kompetenzmessung zur Steuerung von Bildungssystemen
stärkerer Outputorientierung
• Assessment: Beurteilung von Personen hinsichtlich bestimmter Merkmale
oder bestimmter Eignungen
Schematische Darstellung einer Hierarchie von Test, Skala, Aufgabe und Item am Beispiel von Testinhalten in PISA 2003 Prenzel et.a. 2003, zitiert nach Hartig & Klieme 2007
Technologiebasiertes Testen
• Äquivalenzproblematik Mode Effect Studies
• Geringe Probleme bei Fragebögen
• Leistungstests problematischer Problem der flexiblen Handhabung
• Gleiche technische Voraussetzungen notwendig
• Testfairness: Vertrautheit mit Technologie
• Verbesserung der Testgütekriterien:
• Objektivität durch Standardisierung
• Reliabilität: Reduzierung der Mess- und Auswertungsfehler
• Validität: bspw. durch adaptive Verfahren
• Ökonomisierung der Erhebungen
• Vielfältigere Testinhalte und –formate
• Datensicherheit und Persönlichkeitsschutz
Datenverarbeitung
Automatische Berechnungen von statistischen Kennwerten
Itemerstellung
Einfache Stimuli
Komplexe Stimuli & Interaktion
Personen Management
Sampling Prozeduren
Datenaufbereitung
Automatische Codierung
Itemweiterentwicklung
Übersetzung, Kalibrierung
Item Banking
Metadaten-Management Test Zusammenstellung
Testung
Testsicherheit,
Integration von Tests, Verzweigung, Adaptation, Dataspeicherung, Feedback
Datenmanagement
Data-Warehouse
Automatische Reports
Assessmentprozess
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies – PIAAC
• Fazit
PISA 2009 ERA : Elektronisches Lesen:
Konzeption und Logik
• Suche nach einer bestimmten Information:
Wann findet der nächste Kinderbuch-Sonntag im Frankfurter Literaturhaus statt?
Und um was genau wird es dann gehen?
Elektronisches Lesen: Konzeption und Logik
• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte:
• Selbsttätige Textstrukturierung
• Informationsintegration
• Medium-spezifische Lesestrategien, z.B.:
• Identifikation der Textsorte
• Identifikation der Textstruktur
• Identifikation von Glauwürdigkeitsindikatoren
Elektronisches Lesen: Konzeption und Logik
• Vom Print-Lesen differierende Anforderungen beim Lesen elektronischer Texte bezogen auf das Reading Literacy Framework:
Aspekt von Lesekompetenz ERA-Spezifische Anforderungen/Aufgaben
Informationen ermitteln Auffinden einer Information innerhalb einer komplexen Website
Textbezogenes Interpretieren Integration von Information von unterschiedlichen Webseiten
Reflektieren und Bewerten Beurteilen der Glaubwürdigkeit von Internetseiten
Elektronisches Lesen: Konzeption und Logik
• Testkonzeption:
• Abdeckung eines breiten Spektrums von Aufgaben – Beispiele:
• Finden von Informationen auf Webseiten (Informationen ermitteln)
• Integrieren unterschiedlicher Informationen aus verschiedenen Quellen (z.B.
einem Blogeintrag und einer Webseite) (Textbezogenes Interpretieren)
• Beurteilen der Glaubwürdigkeit von Treffern bei einer Suchanfragen oder der Glaubwürdigkeit von Websites (Reflektieren und Bewerten)
Elektronisches Lesen: Konzeption und Logik
• Testkonzeption:
• Abdeckung eines breiten Spektrums von Aufgaben hinsichtlich Anforderungen:
Lesen
N av ig at io n
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 1: "Du bist auf der Startseite des Cafés der
Philosophen. Klicke auf den Link für Konfuzius. Was meinte
Konfuzius mit 'Ren' "?
Frieden und Wohlstand
Leben in Chaos und Krieg
Das Verhalten der Herrscher
Menschlichkeit anderen gegenüber
Leben in Harmonie
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 2: "Welche der folgenden Vorstellungen fasst die Lehre von Zenon zusammen"?
Ein langes Leben führt zum Glück
Logische Vernunft führt zum Glück
Deinen Gefühlen folgen führt zum Glück
Glück führt zur Tugend
Beispiel: Testeinheit "Café der Philosophen"
Aufgabe 3: "Was sehen sowohl Zenon Als auch Bentham den verfügbaren Informationen zufolge als ein
zentrales Thema an?"
Wählen zwischen
widersprüchlichen Anforderungen
Entwickeln von Gesetzen über Männer und Frauen
Streben nach individuellem Glück
Verstehen anderer Menschen
Technologische Herausforderungen der ERA-Implementierung
Entwicklung der ERA-Skala:
• Ziel: ERA-Items sollen interaktive Hypertext-Umgebungen simulieren
• Autorenwerkzeug (HTB) mit graphischer Benutzeroberfläche zur Entwicklung von Items durch “Lese”-Experten
• Softwareunterstützung der Itemübersetzung
• Computerbasierte Testplattform (TAO) zur Testzusammenstellung und -auslieferung Lösungen:
• Generierung von Flash innerhalb eines ActionScript-Frameworks (AsWing)
• Model Driven Architecture - Ansatz in und mit Eclipse
• Nutzung von XLIFF (XML Localization Interchange File Format) und OpenSource- Tools
• Reine Web-Plattform (PHP und Flash), weltweit zugreifbar
Technologische Herausforderungen der ERA-Implementierung
Auslieferung der ERA-Skala:
• In über 20 Länder mit unterschiedlichen Sprachversionen
• Entsprechend “Lokalisierung” von Text und Texteingabe
• Hohe Heterogenität der Hard-/Softwareumgebungen an Schulen (zwischen und innerhalb von Ländern)
Lösungen:
• ERA-Boot-CD, baut auf Knoppix auf
• Datenspeicherung auf USB-Stick – wahlweise auch als Boot-Medium
• Einsatz mehrerer Eingabemethodeneditoren für Chinesisch, Japanisch, Koreanisch
• Boot-System umfasst Client und Server
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies – PIAAC
• Fazit
• Erfassung kognitiver Kompetenzen, die wahrscheinlich persönlichem und gesellschaftlichem Erfolg zugrunde liegen
• Vergleich mit früheren Assessments (IALS, ALL) zur Lese- und Rechenfähigkeit von Erwachsenen
• Bestimmung des Einflusses dieser Kompetenzen auf gesellschaftliche und ökonomische Ergebnisse auf Individual- und Aggregatebene
• Hilfe zur Identifikation von politischen Maßnahmen, die zur Verbesserung dieser Kompetenzen beitragen
PIAAC-Ziele – International
vergleichendes, multizyklisches Assessment von
Erwachsenen (16-64 Jahre)
Australia Austria Belgium Canada
Czech Republic Chile
Denmark Estonia Finland France Germany Hungary Ireland
Italy Japan
South Korea Netherlands Norway
Poland Portugal
Russian Fed.
Slovak Republic Spain
Sweden
United Kingdom United States
PIAAC: 26 teilnehmende Länder
• Erweiterte Erfassung von Erwachsenenkompetenzen, um für politische
Entscheidungsträger relevante Informationen bereitzustellen (Erweiterte Konstrukte, z.B. Literacy inkl. ERA; neue Konstrukte, z.B. Problems Solving in Technology-rich Environment)
• Assessment-Design, das computer-basiertes adaptives Testen wie auch papierbasiertes Testen beinhaltet
• Open-source Testplattform zur Item- und Testentwicklung sowie zur Testauslieferung
PIAAC-Innovationen
Erfasste Kompetenzen Erfasste Kompetenzen
Components
Core cognitive Non-cognitive ICT/PS in TRE
Hintergrundvariablen, wie z.B.
Bildungsbiographie, Persönlichkeit
Lesefähigkeiten (Literacy)
einschließlich ERA, Rechenfähigkeiten
(Numeracy) Problemlösen unter
Verwendung von Informations- und Kommunikations- technologie (ICT)
Basale
Lesefähigkeiten, wie z.B. Wortverständnis
Vorgängerstudien (Papier-basiert) PIAAC
Vergleichbarkeit von Messungen
Computer-basiert
Papier-basiert
Vergleichbarkeit über Administrierungsmodi hinweg
IALS
ALL
Vergleichbarkeit über die Zeit
Computerbasiert Testen:
- Adaptives Testen - New Literacy (www) - Problemlösen (ICT)
Zur Ermittlung von Trends
Für Personen erforderlich,
PIAAC
Vergleichbarkeit PBA-CBA
Computer-basiert
Paper-basiert
Vergleichbarkeit über Administrierungsmodi hinweg
Für den querschnittlichen Vergleich
Vergleichbarkeit muss erreicht werden in den Bereichen:
- Layout
- Antwortmodus - Antwortbewertung
- über nationale Anpassungen hinweg
Vergleichbarkeit PBA-CBA: Layout
Layout von Literacy-Aufgaben:
• Hoch- vs. Querformat, d.h. für CBA in der Höhe geringerer Platz
• Autorentool CBA Item Builder ist keine Desktop Publishing Software (Text-/Bildlayout)
PBA CBA
Layout- anpassungen
Erforderlich, z.B. breitere
Spalten
Vergleichbarkeit PBA-CBA: Antwortmodus
Antwortmodus von Literacy-Aufgaben:
• PBA: freie Antwort, Einkreisung von Textteilen (z.B. richtige Antwort: Nudeln, Klassik)
• CBA: Markieren des Textes durch Klicken und Ziehen per Maus
PBA CBA
Antwortmarkierung
Vergleichbarkeit PBA-CBA: Antwortbewertung
Antwortbewertung von Literacy-Aufgaben:
• PBA: Beurteilung der Antwort durch geschulte menschliche Beurteiler
• CBA: Automatische Beurteilung durch Vergleich der Antwortmarkierung mit dem nutzerdefinierten Minimal- und Maximalbereich für eine richtige Antwort
PBA CBA
Textbereich für richtige Antwort
Textbereich für falsche Antwort
Vergleichbarkeit PBA-CBA:
Nationale Anpassung
Nationale Anpassung der Antwortbewertung:
• PBA: Schulung nationaler Beurteilerteams mit Hilfe zentral geschulter Beurteiler
• CBA: Anpassung der Textbereiche für eine richtige Antwort im Laufe
Itementwicklung durch nationale Experten mithilfe eines speziellen graph. Editors
PBA CBA
Textbereich für richtige Antwort
Textbereich für falsche Antwort
• Auslieferung als Haushaltsstudie (Laptops)
• Parallel laufende Studien, vorhandene Hardware
• Maximale Abschottung erforderlich Lösungen:
• Virtuelle Maschine (VM)
• VM bootet Linux (Client und Server)
• Volle Bildschirmkontrolle durch VM
• Einfache externe API zur Anbindung von nationaler Studiensoftware
PIAAC – Technische Herausforderungen
Inhalt
• DIPF
• Technology Based Assessment
• Programme for International Student Assessment – PISA
• Programme for the International Assessment of Adult Competencies – PIAAC
• Fazit
Technology Based Assessment
• Erste Schritte zur Ablösung von Papierbasierten Tests
• Übergangszeit mit verschiedenen Modi
• 21st century initiative (Cisco, Intel, Microsoft)
• Motoren
• International: OECD
• National: BMBF
