Die Untersuchungen von Low, Brown und Johnstone .1 Der schottische Pilotversuch .1 Der schottische Pilotversuch

7.5 Die Untersuchungen von Low, Brown und Johnstone

7.5.3 Vorüberlegungen zum attainment test

Johnstone et al stellen drei Aspekte ihrer Vorüberlegungen besonders heraus:

Minimising disruption, Variety of measure und Manageability (vgl. Johnstone, Low

& Brown 1996: 62f).

Abgesehen von einer bewältigbaren Datenmenge war ihnen wichtig, dass sie auf die Unterstützung der Lehrkräfte zählen konnten und mit ihrem Einverständnis arbeiteten, da es aufgrund von Raumwechseln und Umstellung des Stundenplanes viele Veränderungen im normalen Tagesablauf gab. Außerdem betonten sie, dass es bei den Tests wichtig ist, dass Schüler vertraut sind mit den Erwartungen und Vorgehensweisen und der Aufgabe:

If pupils know in general what sorts of task they will be asked to perform (without knowing of course the detail of any task in advance) and have received some training in how to perform these tasks, then they can relax, access their stored procedural knowledge and allow their thoughts and words to flow. If asked to perform tasks with which they are not familiar and in circumstances that seemed to them to be strange, they may well under-perform, not because of lack of foreign language competence but because of failure to understand or feel comfortable with the requirements of the situation.

(Johnstone, Low & Brown 1996: 62)

Darüber hinaus mussten sie Aufgaben und Themen wählen, die sowohl der Projektgruppe (mit Fremdsprachenunterricht in der Grundschule) als auch der Nicht-Projektgruppe bekannt waren.

Insgesamt wollten sie einen enge Bezug zum Unterricht herstellen, weswegen sie auch nicht einen proficiency test, sondern einen attainment (bzw. achievement) test entwarfen. Der proficiency test misst die allgemeine Leistung unabhängig von einem bestimmten Kurs, während der attainment test sich auf den Unterricht bezieht:

(…) proficiency seemed a less appropriate concept than attainment. (…) from researchers` observation of classes it was not clear that pupils possessed a ´general level of language mastery`. On the contrary, their performance, at the elementary level at which they were operating, seemed closely tied to the specific of what their teachers had been doing with them.

(Johnstone, Low & Brown 1996: 65)

Ferner sagten Johnstone, Low & Brown, dass verschiedene Aufgaben nötig sind, um valide die Sprechkompetenz der Schüler erfassen zu können. Die Sprechleistung der Schüler wird neben den Aufgaben durch verschiedene kontextuelle Faktoren beeinflusst, u.a. durch den Tester, die Sitzordnung, die Uhrzeit und den Einsatz von Impulsen (props) (vgl. Johnstone, Low & Brown 1996: 62).

7.5.4 Die attainment tests

Organisation:

Der attainment test, ein summativer Test mit externem Prüfer, war ein gepaartes Interview, das zwischen 10 und 15 Minuten dauerte. Die Tests wurden nicht in ganzen Klassen durchgeführt, sondern die Lehrkraft wählte Paare aus, die den Kategorien „stark“, „mittel“ und „schwach“ zugeordnet werden konnte. Der Tester war den Schülern nicht bekannt, damit eine echte Kommunikation mit authentischem Austausch von Information stattfinden konnte. Dass an den Tests jeweils zwei Schüler teilnahmen, hatte neben der Zeitökonomie mehrere Gründe:

First, the researcher was unknown to most pupils and it was thought that individuals would be more likely to ´open up` if they were not left alone with the researcher. Second, the format allowed for some pupil-pupil interaction as well as pupil-researcher interaction.

(Johnstone, Low & Brown 1996: 67)

Die Forscher hatten vorher die Themen und die Aktivität mit den Lehrkräften abgesprochen. Da alle Klassen schon über sich erzählt hatten und andere befragt hatten, wurde dies zum Interviewinhalt gewählt. Andere Inhalte, die auch im Unterricht eine große Rolle spielten, wie Geschichten, Lieder, Bewegungsaktivitäten, wurden nicht berücksichtigt (vgl. Johnstone, Low & Brown 1996: 70).

Aufgaben:

Das gepaarte Interview umfasste drei Teile, bei denen die ersten beiden in der Fremdsprache und das dritte in Englisch durchgeführt wurde.

Teil 1:

Der Forscher stellte anfangs einfache Fragen (z.B. nach dem Namen und Alter).

Anschließend erzählte das Kind etwas über sich, möglichst auf der Basis von mitgebrachten Fotos (der Familie, des Haustieres etc.).

Teil 2:

Die Schüler befragten den Forscher und auch dieser erzählte anhand von Fotos über sich. Der Forscher sprach schneller als in Teil 1, und ging dabei über die sprachlichen Möglichkeiten der Schüler hinaus. Dies stellte einen gesteigerten Anspruch an das Hörverstehen dar.

Teil 3:

Die Schüler erzählten in Englisch, was sie in Teil 2 verstanden hatten.

Anschließend wurden die Schüler gefragt, ob sie sehr nervös waren. Wäre dies der Fall gewesen, hätten die Forscher die Ergebnisse nicht berücksichtigt, weil sie nicht valide gewesen wären (vgl. Johnstone, Low & Brown 1996: 69).

Die Interviews wurden auf Tonträgern aufgenommen.

Auswertung:

Später wurden die Daten sehr detailliert nach unterschiedlichen Aspekten ausgewertet. Zunächst wurden 1991 die Ergebnisse in zwei Durchgängen analysiert, und zwar hinsichtlich:

- pronunciation/intonation, grammatical accuracy, structural complexity, initiation/response

- discourse techniques, communication strategies, ease of response, level of comprehension

(vgl. Johnstone, Low & Brown 1996: 68).

1992 wurden alle Daten transkribiert und nach folgenden Kriterien ausgewertet:

- utterance length and totals

- numbers and range of nouns, verbs, modifiers, articles, connectors, pronouns, question forms and social usage

- errors

- use made of English

(vgl. Johnstone, Low & Brown 1996: 68).

Warum die Daten zunächst nach einigen Gesichtspunkten und später in transkribierter Fassung nach anderen Aspekten untersucht wurden, bleibt offen.

7.5.5 Kritische Betrachtungen zu den attainment tests

Bei der schottischen Untersuchung von Johnstone, Low & Brown, die Anfang der 90er Jahre, also noch vor dem Hamburger und dem Gladenbacher Tests durchgeführt wurde, nahmen Schulen mit unterschiedlichen Fremdsprachenkonzepten teil (Unterschiede in Zielen, Curriculum, Methodik, Zeitpunkt des Beginns und Wahl der Sprache). Trotz dieser Diversifikation versuchten Johnstone, Low & Brown einen engen Bezug zum Unterricht herzustellen, und zwar nicht nur durch Kenntnis des Unterrichts und dessen Ziele und Methoden wie bei den anderen genannten Untersuchungen, sondern indem sie zahlreiche Absprachen mit den Lehrkräften trafen. Dies war für ihren Ansatz elementar, da sie Transparenz - für Lehrkräfte und Schüler - bei der Planung und Durchführung der achievement tests in den Mittelpunkt stellten. Anders also als bei Legutke, der sich bewusst dagegen entscheidet, die Lehrkräfte zu informieren, um systematisches Vorgehen zu vermeiden, wollten Johnstone, Low & Brown durch die Absprache mit den Lehrkräften sicherstellen, dass die Schüler mit den Aufgabenstellungen (natürlich ohne die Details) und den Vorgehensweisen vertraut waren und wußten, was sie in der Testsituation erwartete. Die Schüler wurden also nicht nur auf die Inhalte der Testsituation vorbereitet, sondern zugleich auch auf die Art der Durchführung.

Dadurch hofften Johnstone, Low & Brown, dass die Schüler möglichst stressfrei die Testsituation bewältigen konnten und als Konsequenz bessere Ergebnisse zeigten.

Kahl & Knebler sowie Legutke hatten den Aspekt des Stresses bereits auch berücksichtigt, ihn jedoch auf andere Art, nämlich durch spielerische Aufgaben, zu reduzieren versucht.

Ein anderer Aspekt, der bei dieser Untersuchung neu ist, ist die Tatsache, dass die Schüler in Paaren gestestet wurden und nicht wie bei Doyé & Lüttge einzeln und bei Kahl & Knebler und Legutke in Kleingruppen bis zu 10 Kindern. Dadurch erhöhte

sich die Sprechzeit für den einzelnen Schüler erheblich, da die Dauer des Tests 10-15 Minuten betrug (bei den anderen Studien 20 Minuten), und die Lehrkraft hatte die Möglichkeit, jeden einzelnen Schüler gezielter wahrzunehmen. Andererseits wurde die Testzeit insgesamt viel länger. Während Kahl & Knebler und Legutke bei einer angenommen Schülerzahl von 25 pro Klasse 60 Minuten testeten, brauchen Johnstone, Low & Brown mindestens 2 ½ Stunden.

Abschließend ist zu der schottischen Untersuchung festzustellen, dass die Schüleräußerungen - wie auch bei den anderen Studien - auf Tonband aufgezeichnet und anschließend sehr detailliert ausgewertet wurden.