W ashback is a concept that is used in applied linguistics and testing theory to refer to the extent to which the introduction and the use of a test influences lan
guage teachers and learners to do things they would not otherwise do and that promote or inhibit language learning ( cf. Messick, 1996; McNamara, 2000, p.
72ft). Shohamy (2001) points out that the research on testing has dealt with the issue of the mechanism of testing and she criticizes that researchers who work within what she calls the "test-centric approach" describe their work as scientifi
cally based. She explains that this approach ignores the socially embedded nature of testing. She presents examples that clearly indicate how testing - although sci
entifically carried out - can be associated with humiliation, stigmatization, fear and alienation. And she also indicates that tests have a symbolic and ideological function. Tests are said to be a powerful tool in the hands of a controlling elite.
Moreover, she suggests that alternative and multiple types of testing procedures should be used and that they should be adapted to the modes of knowledge that are characteristic of populations that in the past have been oppressed by the use of tests (cf. Shohamy, 2001). Messick, on the other band, points out that in order to achieve positive washback the assessment system should involve teachers respon
sible for defining, creating and revising the assessment tasks (Messick, 1996).
Both Shohamy's critical ideas and Messick's suggestion should be taken into
ac-378 Empirische Pädagogik 2003, 17 (3), 368-379 count in developing the test battery of DESI. At least it has to be made clear to the public that the tests that are going to be used in DESI are a research tool and that they should not be mistaken to be models for high-stakes classroom tests. At the same time, washback effects tend to be rather unpredictable so that there is no reason to worry prematurely (McNamara, 2000, p. 74). What DESI will definitely not encourage is teaching to the test. Contrary to the testing situation in states with state-wide high-stakes tests such as Bavaria and Baden-Wuerttemberg, the DESI test battery will not be used for such purposes. However, once tests with a national focus such as DESI will be available to the teaching profession, their im
pact may be beyond the control of the test developers. In this respect precautions have to be taken.
REFERENCES
Baumert, J., Klieme, E., Neubrand M., Prenzel, M., Schiefele, U., Schneider, W., Stanat, P., Tillmann, K.-J. & Weiß, M. (Hrsg.). (2001). PISA 2000. Opladen:
Leske + Budrich.
Baumert, J., Klieme, E., Neubrand, M., Prenzel, M., Schiefele, U., Schneider, W., Stanat, P., Tillmann, K.-J. & Weiß, M. (Hrsg.). (2002). PISA 2000 - Die Län
der der Bundesrepublik Deutschland im Vergleich. Opladen: Leske + Budrich.
DESI (2001). Vergleichsuntersuchungen zum Leistungsstand von Schülerinnen und Schülern im Englischen und in der aktiven Beherrschung der deutschen Sprache. Proposal submitted by Deutsches Institut für Internationale Pädagogi
sche Forschung (DIPF), Frankfurt am Main.
Fehling, S. & Finkbeiner, C. (2002). Evaluation von Schulleistungen im bilingu
alen Sachfachunterricht. In C. Finkbeiner (Hrsg.), Bilingualität und Mehrspra
chigkeit. Modelle, Projekte, Ergebnisse (S. 20-30). Hannover: Schroedel.
Finkbeiner, C. & Fehling, S. (2002). Bilingualer Unterricht: Aktueller Stand und Implementierungsmöglichkeiten im Studium. In C. Finkbeiner (Hrsg.), Bilin
gualer Unterricht. Lehren und Lernen in zwei Sprachen (S. 22-32). Hannover:
Schroedel.
Goethe-Institut Inter Nationes (Hrsg.). (2001 ). Gemeinsamer europäischer Refe�
renzrahmen für Sprachen: lernen, lehren, beurteilen, Berlin: Langenscheidt.
Groeben, A. von der. (2000). ,,Ein langsames Kind, das sich anstrengt und doch eine Fünf bekommt", Frankfurter Rundschau 13 Juli 2000, Nr. 160, Verfügbar unter: www.uni-bielefeld.de/OSK
Hentig, H. von (1987) Humanisierung - eine verschämte Rückkehr zur Pädago
gik? Stuttgart: Klett-Kotta.
Hentig, H. von (1994). Die Schule neu denken (3. Aufl.), München: Hanser.
Hentig, H. von (1996). Bildung, München: Hanser . Hu, A. (2000). TIMSS: Arthur Hu's index. Verfügbar unter:
www.arthurhu.com/index/timss.htm [03.07.03].
LeTendre, G., Baker, D. P., Akiba, M., Goesling, B. and Wiseman, A. (2001).
Teachers' work: Institutional isomorphism and cultural variation in the U.S., Germany, and Japan. Educational Researcher, 30, 6, 3-15.
Lewis, C. (2000). Lesson study: The core of Japanese professional development.
Paper presented at the annual meeting of the American Educational Research Association, New Orleans, LA: AERA.
Max-Planck-Institut für Bildungsforschung Berlin. (2001). ,,Internationale Leis
tungsvergleiche", Verfügbar unter:
www.mpib-berlin.mpg.de/TIMSSII-Germany [03.07.03].
McNamara, T. (2000). Language testing, Oxford: Oxford University Press.
Messick, S. (1996). Validity and washback in language testing. Language Test
ing, 13, 241-256.
Rymarczyk, J. (2003). MAFF. Kunst auf Englisch. München: Langenscheidt
Longman.
Shohamy, E. (2001 ). The power of tests. A critical perspective on the uses of lan
guage tests. Essex, UK: Longman.
Stepanek, J. (2001). Lesson study: Teachers learning together. Verfügbar unter:
www.nwrel.org/msec/nwteacher/spring200l/veiw.html [03.07.03].
Vollmer, H. J. (2002). Fremdsprachen als Arbeitssprachen - Herausforderungen für Theorie und Praxis. In K.-R. Bausch, H. Christ, F. G. Königs & H.-J.
Krumm (Hrsg.), Neue curriculare und unterrichtsmethodische Ansätze und Prinzipien für das Lehren und Lernen fremder Sprachen (S. 209-221 ). Tübin
gen: Gunter Narr.
Vollmer, H. J., Henrici, G., Finkbeiner, C., Grotjahn, R., Schmid-Schönbein, G.
& Zydatiß, W. (2001). Lernen und Lehren von Fremdsprachen: Kognition, Af
fektion, Interaktion. Ein Forschungsüberblick. Zeitschrift für Fremdsprachen
forschung, 12, 2, 2-145.
Wang, J. (2001). TIMSS primary and middle school data: Some technical con
cerns. Educational Researcher, 30, 6, 17-21.
Anschrift des Autors:
Prof. Dr. Günter Nold, Institut für Anglistik und Amerikanistik, Fakultät Kul
turwissenschaften, Universität Dortmund, 44221 Dortmund, E-Mail: nold@englisch.tbl5.uni-dortmund.de
380 Empirische Pädagogik 2003, 17 (3), 380-395
© Empirische Pädagogik 2003, 17 (3), 380-395
Zeitschrift zu The_orie und Praxis erziehungswissenschaftlicher Forschung
Originalarbeiten
Bärbel Beck und Eckhard Klieme
DESI
1 -Eine Längsschnittstudie zur Untersuchung des Sprachunterrichts in deutschen Schulen
Zusammenfassung: Die Autoren schließen sich einer Kompetenzdefinition von Weinert ( 1999) an und stellen ausgewählte Schulleistungsstudien sowohl zum Thema muttersprachliche Kompetenzen als auch zum Thema fremdsprachliche Kompetenzen vor. Darauf aufbauend wird auf den Nutzen von Schulleistungsstudien im Rahmen von Schul- und Systemevaluation verwiesen und schließlich die DESI-Studie detailliert vorgestellt. Zielsetzung des DESI-Projektes ist es, den Kultusministerien der Länder der Bundesrepublik Deutschland zentrale Basisinformationen über den Leistungsstand der Schüler der 9. Jahrgangsstufe in deutschen Schulen hinsichtlich des Englischen sowie hinsichtlich der aktiven Beherrschung des Deutschen zur Verfügung zu stellen. Gegenstand der Untersuchung sind die reproduktiven und produktiven, die schriftlichen und mündlichen Kompetenzen von Neuntklässlern in den Fächern Englisch und Deutsch.
Das in DES[ verwendete Stufenmodell der Sprachproduktion und das Interesse an der Gewinnung analytischen Wissens über die Wirksamkeit von Schule und Unterricht erfordern ein Längsschnittde
sign. Nur auf diesem methodischen Wege können über eine reine Deskription von Leistungsunter
schieden hinaus schulische und unterrichtliche, aber auch außerschulische Konfigurationen identifi
ziert werden, die dann Möglichkeiten und Wege eines effektiven Englisch- und Deutschunterrichts und aussichtsreiche Interventionsmöglichkeiten für Schulentwicklung, Bildungspolitik und Bildungs
praxis aufzeigen helfen.
Schlagwörter: Fremdsprachenlernen - Längsschnittstudie -Lernbedingungen -Schulleistungsstu
dien - Sprachkompetenz
DESI -A !arge scale assessment analysing language teaching in German schools
Summary: The authors refer to Weinert's ( 1999) definition of competence and present selective studies on students' achievement dealing with students' competencies not only concerning their first but also a foreign language. Thereupon the value of students' achievement-studies within the frame
work of school evaluation is referred to and the DESI-study is finally presented in detail. lt is the aim of the DESJ-study to provide the Ministries of Education in the States of the Federal Republic of Germany with basic information about the level of achievement that students have in English and the active use of German in grade 9 in the German school system. Therefore the object of the research
project centres around an investigation of the reproductive and productive as weil as written and oral competencies of students in English and German as school subjects in grade 9.
The phase model of speech production used in DES[ and the interest in acquiring analytical
knowl-1 DESI ist eine interdisziplinäre Studie, die von einem Konsortium (Wolfgang Eichler, Andreas Helmke, Eckhard Klieme, Rainer H. Lehmann, Günter Nold, Hans-Günter Rolff, Konrad Schröder, Günther Thome, Heiner Willenberg) konzipiert und mit einer großen Anzahl von wissenschaftlichen Mitarbeitern durchgeführt wird. Der vorliegende Bericht wurde von der Autorin als Koordinatorin des Projektes und dem Autor als Sprecher des wissenschaftlichen Konsortiums erstellt.
edge requires a minimal longitudinal design. Only this methodical way allows for the identification of school, teaching and out-of-school configurations that goes far beyond a mere description of differing levels of achievement. Moreover it provides possibilities and ways to create more effective German and English classes as weil as opportunities to intervene in school development, educational policy and practice.
Key words: foreign language leaming - language proficiency - leaming conditions - longitudinal studies - school-assessment studies