Der picture-text-sequencing Effekt

Mit jeder wissenschaftlichen Arbeit ist ein Ziel und eine entsprechende Fragestellung verbunden, die einen bestimmten Forschungsgegenstand betreffen. Ganz allgemein be-trachtet, ist der Forschungsgegenstand dieser Arbeit der Wissenserwerb mit Texten und Bildern. Dabei geht es allerdings nicht allein darum, Hinweise für eine optimale Ge-staltung von Lernumgebungen und -materialien zu gewinnen. Von mindestens ebenso großem Interesse sind mögliche Rückschlüsse auf die kognitive Architektur der Lernen-den und die damit verbunLernen-denen theoretischen Implikationen. Das multimediale Lernen ist jedoch mittlerweile zu einem sehr weiten Forschungsfeld angewachsen, weshalb es durchaus hilfreich ist, die eigene Fragestellung etwas näher einzugrenzen. Gerade im Zusammenhang mit der kognitiven Verarbeitung von Texten und Bildern bietet es sich daher an, eines der zahlreichen Prinzipien herauszugreifen und näher zu untersuchen.

Daher orientiert sich auch die Fragestellung der vorliegenden Arbeit an einem Phäno-men, das beim multimedialen Lernen beobachtet werden konnte und von Schnotz (2005) alspicture-text-sequencing Effekt bezeichnet wurde. Was es damit auf sich hat, wird in dem nun folgenden Kapitel ausführlich dargestellt.

weitege-hend parallelen Verarbeitung von Text- und Bildinformationen aus. Innerhalb der CTML werden damit visuelle und verbale Repräsentationsformate als mehr oder weniger gleich-wertig angesehen, wobei zugrunde liegende Repräsentationsprinzipien unberücksichtigt bleiben. Folglich ist es daher irrelevant, ob zuerst ein Bild oder ein Text verarbeitet wird.

Eine Verletzung des Prinzips dertemporal contiguity führt in beiden Fällen zu einer ver-gleichbar schlechten Lernleistung. Dieser Ansicht widerspricht jedoch Kulhavy, Stock und Caterino (1994), der sich dabei auf zwei eigene Studien bezieht. Zwar leugnet der Autor nicht, dass die simultane Präsentation von Texten und Bildern den Wissenserwerb weit mehr fördert, als wenn sequenziert gelernt wird. Doch gibt es seiner Ansicht nach sehr wohl empirische Hinweise darauf, dass die Reihenfolge, in der die Verarbeitung visueller und verbaler Informationen erfolgt, die Lernleistung maßgeblich beeinflusst.

Bei seinen beiden Studien, die leider unveröffentlicht blieben, verwendete Kulhavy, Stock und Caterino (1994) geographische Karten und Texte, die sich inhaltlich aufeinan-der bezogen. Alle beteiligten Versuchspersonen hatten dann die Aufgabe, so viele visuelle und verbale Informationen wie möglich zu lernen, wobei lediglich die Reihenfolge der Sti-muli variiert wurde. Die Gruppen, die zuerst die Karte gesehen hatten, erinnerten bis zu 30% mehr Fakten, als die Gruppen, die zuerst den Text gelesen hatten. Nach Ansicht des Autors zeigte sich damit auf recht eindeutige Weise, dass die sequenzierte Verarbeitung von visuellen und verbalen Informationen leichter fällt, wenn zuerst das Bild gelernt wird.

Schnotz (2005) greift diese Befunde im Rahmen seines ICTP-Modells auf und bezeich-net den Zusammenhang zwischen Stimulusreihenfolge und Lernergebnis alspicture-text sequencingEffekt (PTS-Effekt). Das aus wissenschaftlicher Perspektive interessante am PTS-Effekt ist, dass sowohl Schnotz (2005), als auch Kulhavy, Stock und Caterino (1994) alternative Erklärungen anbieten. Diese widersprechen sich zwar nicht direkt, doch be-ruhen beide Erklärungsansätze auf unterschiedlichen theoretischen Modellvorstellungen.

Wie die Autoren den PTS-Effekt genau ableiten und welche verschiedenen Annahmen sie dabei zugrunde legen, wird in den folgenden Abschnitten dargestellt.

4.1.1 Die Kapazitäts-Hypothese

In Kapitel 3.3.2 wurde das Modell des Textlernens unter Verwendung geographischer Karten erläutert, mit dem Kulhavy, Stock, Verdi et al. (1993) detailliert ausführen, wes-halb räumlich organisierte Bilder eine positive Wirkung auf den Wissenserwerb besitzen.

Kern ihrer theoretischen Konzeption ist die Annahme, dass verbale und bildliche Informa-tionen in verschiedenen kognitiven Systemen verarbeitet werden. Dennoch ist es mög-lich, Elemente der verbalen und piktorialen Repräsentationen miteinander zu verknüpfen, so dass bestimmte Inhalte doppelt kodiert werden, was deren Abrufwahrscheinlichkeit deutlich erhöht. Außerdem nehmen die Autoren an, dass sprachliche und bildliche Infor-mationen zu unterschiedlichen Repräsentationformaten führen. Während Textinhalte als Propositionen enkodiert werden, resultiert die Verarbeitung von Bildern in sogenannten images.

In der Vorstellung von Kulhavy, Stock, Verdi et al. (1993) lassen sich dieseimages

men-talen Kopie der entsprechenden visuellen Reize vergleichen. Sie umfassen daher neben den Elementen (Linien, Icons, etc.), aus denen sich beispielsweise eine geographische Karte zusammensetzt, auch alle strukturellen Informationen. Diese beinhalten räumlichen und metrische Distanzen, Verortungen oder auch auf die Grenzen der Abbildung. Werden alle Elemente und strukturellen Informationen vollständig enkodiert, dann ist die resultie-rende Repräsentation nach Auffassung der Autorenintakt. Das bedeutet, dass einimage mit allen darin enthaltenen Informationen als Einheit verarbeitet werden kann, Dabei be-ansprucht es nicht mehr von der begrenzten Kapazität des Arbeitsgedächtnisses, als dies eine einzige Proposition tun würde. Gleichzeitig besteht jedoch die Möglichkeit auf sämtli-che Informationen, die in demimageenthaltenen sind, zurückzugreifen. Angeleitet durch die mitkodierte Struktur, kann ein Lernender seine mentale Kopie der Karte regelrecht absuchen, ohne darauf sämtliche mentale Ressourcen zu verwenden.

Diese Annahmen haben auch Konsequenzen für die Reihenfolge, in der verbale und visuelle Informationen nach dem Modell verarbeitet werden sollten. Demnach führt die Präsentation des Bildes vor dem Text zunächst zum Aufbau einer intakten Repräsen-tation (image), die im Langzeitspeicher abgelegt wird. Liest ein Lernender dann einen Text, der sich auf die Inhalte des Bildes bezieht, wird dasimageaktiviert und in das Ar-beitsgedächtnis gerufen. Dort lässt es sich, ohne große Ressourcen zu beanspruchen, auch während des Lesens aufrecht erhalten. Die kognitive Verarbeitung der Textinhalte erfolgt linear, so dass die Propositionen auf ihrem Weg in den Langzeitspeicher das Ar-beitsgedächtnis seriell durchlaufen. Da die mentale Repräsentation des Bildes während des ganzen Leseprozesses zur Verfügung steht, lassen sich referentielle Verbindungen zwischen den Text- und Bildinformationen knüpfen. Informationen, die auf diese Weise doppelt kodiert wurden, besitzen damit zwei Abrufreize (cues), was die Wahrscheinlich-keit, dass die entsprechenden Inhalte erinnert werden, erhöht.

Ganz anders verhält es sich dagegen, wenn der Lernende den Text vor dem Bild liest.

Die sprachlichen Informationen werden zunächst seriell als Propositionen enkodiert und im Langzeitspeicher abgelegt. Betrachtet der Lernende im Anschluss dann ein Bild, wird er versuchen möglichst viele verbale Inhalte, die das Verstehen der grafischen Darstel-lung unterstützen sollen, aufzurufen. Allerdings ist es nach Ansicht von Kulhavy et al.

(1994) mit einem beträchtlichem kognitiven Aufwand verbunden, mehrere Propositionen gleichzeitig im Arbeitsgedächtnis zu halten. In dieser Situation muss der Lernende sich daher entscheiden, ob er seine Aufmerksamkeit auf die Propositionen oder das Bild rich-tet. Will er die Informationen des Bildes lernen, gehen die Propositionen verloren, da de-ren Aufrechterhaltung eine aktive Verarbeitung erfordert (van Dijk & Kintsch, 1983). Ent-scheidet sich der Lernende hingegen für die propositionale Repräsentation, dann reicht die begrenzte Kapazität des Arbeitsgedächtnisses nicht aus, um ein intaktes image zu konstruieren. In beiden Fällen wird es demnach nicht gelingen, referentielle Verknüpfun-gen zwischen Bild und Textinformationen zu knüpfen. Als direkte Folge verfügt der Ler-nende über deutlich wenigercuesbzw. Abrufreize, was dazu führt, dass weniger Inhalte erinnert werden können.

Der Erklärungsansatz von Kulhavy, Stock und Caterino (1994) beruht damit vor allem

auf der Vermutung, dass die (intakte) mentalen Repräsentationen visueller Inhalte einen besonderen Verarbeitungsvorteil besitzen. Da der positive Effekt eines Bildes unmittelbar mit der Kapazität verbunden ist, die ein image im Arbeitsgedächtnis beansprucht, soll dieser Zusammenhang im folgenden alsKapazitätshypothesebezeichnet werden.

4.1.2 Die Interferenz-Hypothese

Eine alternative und auch etwas einfachere Erklärung des PTS-Effekts bietet Schnotz (2002, 2005) auf der Grundlage seines Modells des integrierten Text-Bildverstehens an.

Im Gegensatz zu Kulhavy, Stock und Caterino (1994) geht der Autor nicht davon aus, dass die Verarbeitung verbaler und visueller Informationen grundsätzlich zu verschiedenen Re-präsentationsformaten führt. So ist die Zielrepräsentation in beiden Fällen ein kohärentes mentales Modell, unabhängig davon, ob es anhand eines Textes oder anhand eines Bil-des konstruiert wird. Allerdings unterscheidet sich die Ausgangspunkte bzw. die Wege, die dem Aufbau eines solchen Modells vorausgehen. So entsteht beim Lesen zunächst eine Repräsentation der Textoberflächenstruktur, die durch konzeptuelle Organisations-prozesse in eine propositionales Gefüge umgewandelt wird. In der Regel ist diese pro-positionale Repräsentation dann die Grundlage für den Aufbau des mentalen Modells, was den Übergang von einem symbolischen in ein analoges Format erfordert. Bei einem Bild kann das mentale Modell direkt anhand der visuellen Wahrnehmung konstruiert wer-den, ohne dass es irgendwelcher Zwischenschritte oder Umwandlungen bedarf. Obwohl Schnotz und Bannert (1999) deshalb annehmen, dass der Konstruktionsprozess mit pik-torialen Informationen leichter fallen dürfte, gibt es damit grundsätzlich zwei Möglichkeiten ein mentales Modell zu konstruieren.

Daher muss sich ein Lernender, dem für den Wissenserwerb Bilder und Texte zur Ver-fügung stehen, die mehr oder weniger informationsäquivalent sind, entscheiden, mit wel-chem Medium er beginnen will. Eine solche Entscheidung entfällt jedoch, wenn die Rei-henfolge in der verbale und piktorialen Informationen verarbeitet werden, nicht frei wähl-bar ist. In diesem Fall ist dann das Format, das als erstes präsentiert wird, die Grundlage für das zu konstruierende mentale Modell, während im Anschluss verarbeitete Informa-tionen der Ergänzung dienen. Da Bilder und Texte aber zu einer vergleichbaren Zielre-präsentation führen, könnte man vermuten, dass die Reihenfolge innerhalb des theoreti-schen Konzepts von Schnotz (2005) letztlich keine Rolle spielt Das tut sie aber, denn die unterschiedlichen Repräsentationsprinzipien, die verbalen und piktorialen Informationen zugrunde liegen, beeinflussen das Zusammenspiel von Konstruktions- und Integration-prozesse beim Aufbau des mentalen Modells.

Verbale Beschreibungen eines Sachverhaltes sind stets durch einen gewissen Grad an Unbestimmtheit gekennzeichnet, die nicht selten zu abweichenden Interpretationen führen. Das deskriptive Repräsentationsprinzip eines Textes lässt es schlichtweg nicht zu, Objekte so detailliert und anschaulich zu erfassen, wie das mit einem Bild möglich wäre. Als Konsequenz ist die Verarbeitung verbaler Inhalte sehr stark auf bestehende Wissenstrukturen angewiesen, damit trotz aller prinzipiellen Unschärfen ein kohärentes

mentales Modell aufgebaut werden kann. Informationslücken, die ein Text zwangsläufig enthält, werden dabei durch die Vorkenntnisse des Lernenden ergänzt. Da vorhandene Wissensstrukturen und persönlichen Erfahrungen von Individuum zu Individuum variie-ren, ist jedes mentale Modell, das selbst auf der Grundlage ein und des selben Textes konstruiert wird, so etwas wie ein Unikat. Dieser Zusammenhang hat unmittelbare Folgen, wenn piktoriale und verbale Informationen, die sich auf den selben Sachverhalt beziehen, nacheinander gelernt werden.

Verarbeiten ein Lernender zuerst den Text, führt das zum Aufbau eines mentalen Mo-dells, das mit sehr hoher Wahrscheinlichkeit von dem Bild abweicht, das im Anschluss präsentiert wird. Diese Abweichungen dürften vor allem strukturelle Elemente betreffen, die für den funktionalen Charakter des Modells jedoch nicht unbedingt wichtig sein müs-sen. Da der Lernenden aber bestrebt ist, eine kohärente Repräsentation des dargestell-ten Sachverhaltes aufzubauen, wird er versuchen, das interne mentale Modell und das externe Bild zu integrieren. Zwar ist vorstellbar, dass durch analoge Strukturabbildungs-prozesse fehlenden Modellelemente ergänzt werden können, doch führen selbst nichtige Abweichungen oder Widersprüche zu kognitiven Interferenzen. Diese Interferenzen be-hindern den Konstruktionsprozess, so dass es dem Lernenden nicht gelingt, eine kohä-rente mentale Repräsentation aufzubauen. Als Folge wird der Sachverhalt nicht richtig verstanden, was sich in einer schlechteren Lernleistung ausdrückt.

Ganz anders verhält es sich hingegen, wenn zuerst die piktorialen Informationen prä-sentiert werden. In diesem Fall erfolgt der Aufbau des mentale Modells mehr oder we-niger direkt anhand der visuellen Wahrnehmung, wobei ein perzeptionsnahes analoges Format in ein abstraktes analoges Format überführt wird. Das dürfte vielen Lernenden etwas leichter fallen, als wenn sie das Modell anhand eines Textes konstruieren müssen (Schnotz & Bannert, 1999). Dennoch ist der entscheidende Vorteil bei dieser Reihenfolge ein anderer. Wird das Bild zuerst gelernt, dann ist das resultierende Modell in der Re-gel zunächst unvollständig, da es den Sachverhalt ohne die verbalen Informationen nicht lückenlos abdecken kann. Für eine kohärente und vollständige Repräsentation müssen daher zusätzlich die entsprechenden Textinhalte verarbeitet und integriert werden. Das mentale Modell, das auf der Grundlage des Bildes entstanden ist, fungiert dabei als eine Art Blaupause bzw. als Entwurf oder Gerüst für den Aufbau der eigentlichen Zielreprä-sentation. Es gibt zentrale Strukturen vor, während einzelne Modellkomponenten durch die serielle Verarbeitung der verbalen Informationen nach und nach ergänzt oder spezifi-ziert werden. Auf diese Weise ist der Text Grundlage für Prozesse der Modellkonstruktion und -inspektion, ohne dass es zu Abweichungen zwischen den externen und internen Formaten kommt.

Schnotz (2002, 2005) erklärt den PTS-Effekt in erster Linie durch die Entstehung ko-gnitiver Interferenzen, die immer dann auftreten, wenn der Text vor dem Bild präsentiert wird. Damit liegt es nahe, den zweiten Erklärungsansatz unter der Bezeichnung Interfe-renzhypothesezusammen zu fassen.

Abschließend lässt sich festhalten, dass beide Herleitungen des PTS-Effekts logisch konsistent und plausibel sind, so dass sich konsequenter Weise die Frage stellt,

wel-cher der Autoren nun Recht hat. Diese Frage steht im Mittelpunkt der vorliegenden Ar-beit, mit der letztlich eine Antwort gefunden werden soll. Da es jedoch nicht möglich ist, allein anhand theoretischer Annahmen eine Entscheidung für oder wider einen der bei-den Erklärungsansätze zu treffen, muss eine empirische Untersuchung Abhilfe schaffen.

Zu diesem Zweck bietet es sich an, experimentelle Bedingungen zu schaffen, in denen die Kapazitäts- und die Interferenzhypothese zu jeweils verschiedenen Vorhersagen füh-ren, die sich dann überprüfen lassen. Die allgemeinen Überlegungen, die dem Unter-suchungsablauf und -design zugrunde liegen, werden in dem folgenden Kapitel näher ausgeführt.