Evaluation des Lehrmaterials

derabstraktenEinleitung verknüpft, dass er nicht herausgestrichen werden konnte, ohne große Teile des restlichen Textes neu zu schreiben. EineUmformulierung kam allerdings nicht in Frage, da die komplementäre Version exakt die gleichen Sätze enthalten soll-te, wie die vollständige Version. Also wurde eine andere Textpassage entfernt, die sehr viel kürzer war, obwohl die Struktur des Bildes prinzipiell eine gleichmäßigere Aufteilung der Informationen ermöglicht hätte. In diesem Zusammenhang wurde die Lesbarkeit der Bilder und Texte als wichtiger angesehen, als deren Länge oder relativer Informations-gehalt. Auch wenn es hinsichtlich der Fragestellung in erster Linie darum ging, die Kom-plementarität zwischen den deskriptiven und depiktionalen Repräsentationsformaten zu maximieren, wurde dennoch immer auf die Verständlichkeit des Lehrmaterials geachtet.

komplemen-tär sein mussten. Das ergab sich allein aus der Tatsache, dass nur anschauliche Inhalte grafisch umgesetzt worden waren, obwohl die Texte auch abstrakte Sachverhalte bein-halteten. So stellte sich letztlich nicht die Frage, ob das Informationsverhältnis zwischen den Texten und Bildern komplementär war, sondern welche Größenordnung diese kom-plementäre Beziehung hatte.

Der offensichtlichste Weg bestand darin, alle Informationen, die sowohl dem Bild als auch dem Text entnommen werden konnten, einfach zu zählen. Wäre dann die Anzahl der gemeinsamen Informationen durch die Anzahl aller Informationen, die beide Formate zusätzlich enthielten, geteilt worden, so hätte dieser Wert das Informationsverhältnis zwi-schen Text und Bild zum Ausdruck gebracht. Allerdings scheiterte der Versuch, sämtliche Informationen des Lehrmaterials zu erfassen, bereits an den Charakteristika der Bildsei-ten. Ähnlich wie bei einem Liniendiagramm, aus dem sich theoretisch beliebig viele Ein-zeldaten ablesen lassen, konnten allein der Weltkarte, die im Hintergrund von Abbildung 5.1 dargestellt ist, eine schier unendliche Menge von Detailinformationen entnommen werden. Mit Blick auf den thematischen Kontext und das Verständnis der dargestellten Sachverhalte spielen diese Detailinformationen aber im besten Fall eine mittelbare Rolle.

Hinzu kommt, dass aufgrund der Mehrdeutigkeit von Bildern (Ballstaedt, 2005), eine voll-ständige Aufzählung von mehreren unabhängigen Personen hätte durchgeführt werden müssten, so dass der Aufwand in keinem Verhältnis zum den Ergebnissen gestanden hätte.

Aus diesem Grund wurde ein sehr viel einfacheres Vorgehen gewählt, um die Infor-mationsrelation der Text-Bild-Paare in einen numerischen Wert zu überführen. Über ein Urteilsverfahren sollte demnach geschätzt werden, wie groß der Anteil der Inhalte war, die beiden Formaten entnommen werden konnten. Damit diese Einschätzung möglichst strukturiert erfolgte, wurde für jede Version und jeden Themenabschnitt auf der Grund-lage der Texte acht Beurteilungsbögen erstellt, die zwischen 9 und 16 Items umfassten.

Jedes Item bestand aus einem Satz (demAnker) und einer Ratingskala, auf der einge-schätzt werden musste, wie viele der Informationen des Satzes in dem entsprechenden Bild abgelesen werden konnten. Als Anker wurden die Originalsätze der verschiedenen Textversionen verwendet, wobei darauf verzichtet worden war, die Sätze umzuformulie-ren oder in kleinere Informationseinheiten zu zerlegen. Auf diese Weise sollten Bedeu-tungsänderungen vermieden werden, was die Reliabilität der Urteile eingeschränkt hätte.

Außerdem wurde die Reihenfolge der Sätze, die sie in den Textversionen hatten, in den Beurteilungsbögen beibehalten. Abbildung 5.3 zeigt eines der Items.

Die Beurteilung erfolgte in Einzelsitzungen und wurde von den selben vier Experten durchgeführt, die zuvor das Lehrmaterial auf formale und inhaltliche Fehler geprüft hat-ten. Jeder Experte erhielt kurz vor der Sitzung die Instruktion, sich bei der Einschätzung auf die Inhalte zu konzentrieren, die seiner Meinung nach für das Verständnis der Sach-verhalte wesentlich waren. Zudem sollten sie versuchen, Informationen, die sich nicht unmittelbar ablesen ließen, auf der Grundlage des Bildes zu erschließen. Nachdem alle noch offenen Fragen geklärt worden waren, wurden die Bilder als HTML-Seiten an einem Computer präsentiert. Während dieser Präsentation trugen die Experten ihre

Einschät-Abbildung 5.3:Beispielitem aus dem Beurteilungsbogen zur Einschätzung des Informationsver-hältnisses zwischen Bildern und Texten des Stimulusmaterials

zungen mit einem Bleistift direkt in die Beurteilungsbögen ein, die ihnen in Papierform vorlagen. Da für jede der acht Bildseiten ein eigener Beurteilungsbogen mit insgesamt 90 Sätzen bzw. Items ausgefüllt werden musste, dauerten die Sitzungen bis zu zwei Stun-den, wobei immer wieder kleine Erholungspausen einlegt wurden.

Als die Einschätzungen schließlich abgeschlossen waren, sollten für die Text-Bild-Paare die mittlere Skalenwerte berechnet werden. Durchschnittliche Einschätzungen mehrerer Urteiler sind in der Regel zwar reilabler und valider als Einzelurteile (vgl. Horowitz, In-ouye & Siegelman, 1979; Strahan, 1980), doch setzt die Berechnung des Mittelwertes die hinreichende Übereinstimmung der Individualurteile voraus (Bortz, Lienert & Boehn-ke, 1990). Aus diesem Grund bot es sich, die Urteilskonkordanz (vgl. Bortz & Döring, 1995) als Indikator für die Übereinstimmung der Einschätzungen zu ermitteln. Da die Messwerte Ordinalskalenniveau hatten und es galt, die Reliabilität der Ratings über meh-rere Urteiler hinweg zu bewerten, wurde Kendall’sW (Kendall & Smith, 1939) als Konkor-danzkoeffizient bestimmmt.

Kendall’s W kann Werte zwischen 0 (keine Übereinstimmung) und 1 (vollkommene Übereinstimmung) annehmen und ist ähnlich zu interpretieren, wie zum Beispiel das Re-liabilitätsmaß α von Cronbach (1951). Zusätzlich kann für den KoeffizientenW eine χ² -verteilte Prüfgröße berechnet werden, welche die Konkordanzannahme gegen den Zufall absichert. Für die Urteile der vier Experten wurde einW =0.87 ermittelt, ein Wert, der nach Bortz und Döring (1995) einer hohen Reliabilität entspricht. Folglich war auch die Prüfgröße mit einem χ²=311.9 bei 89 Freiheitsgraden signifikant (p<0.001), was ei-ne rein zufällige Übereinstimmung der Urteile äußerst unwahrscheinlich machte. Um die kongruenten und komplementären Versionen zu vergleichen, wurde nach der Zusammen-fassung der Urteile schließlich für jedes Text-Bild-Paar ein Durchschnittswert berechnet.

Mit Blick auf die Hauptuntersuchung war es von entscheidender Bedeutung, dass die Ex-perten bei den kongruenten Versionen möglichst viele Informationen, die in den Sätzen enthalten waren, auch in den Bildern wieder finden würden. Dagegen sollte bei den kom-plementären Bild-Text-Paaren, wenn überhaupt, nur vereinzelte Informationen sowohl im

Text, als auch im Bild enthalten sein.

Da Ballstaedt (2005) keine Angaben dazu macht, wann eine Informationsrelation zwi-schen deskriptiven und depiktionalen Formaten als kongruent und wann sie als kom-plementär angesehen werden muss, war es notwendig, eine eigenständige Festlegung vorzunehmen. Vor dem Hintergrund der verwendeten Ratingskalen (vgl. Abbildung 5.3 konnten die Mittelwerte, die das Informationsverhältnis eines Text-Bild-Paares wieder-spiegelten, einen Wert zwischen0 und 4 annehmen. Während ein Wert von 0 vollstän-diger Komplementarität entsprach, hätte ein Wert von 4 bedeutet, dass alle der in den Sätzen enthaltenen Informationen in dem Bild abgelesen werden konnten. Aufgrund des Vorgehens bei der Gestaltung des Lehrmaterials war ein Wert nahe Null für die kom-plementären Versionen durchaus möglich und mit Blick auf die Untersuchung auch er-strebenswert. Hingegen musste man ein vollständig kongruentes Verhältnis aufgrund der abstrakten Inhalte und des Umfangs der dargestellten Sachverhalte als unrealistisch ein-stufen. So erschien bereits ein durchschnittlicher Wert von≥2 ausreichend zu sein, um von einem kongruenten Verhältnis zwischen Text und Bild auszugehen. Immerhin bedeu-tete dieser Wert, dass mehr als die Hälfte der Informationen eines Texte auch in den Bildern enthalten waren, was die Relation aufgrund des Mengenverhältnisses mehrheit-lich kongruent gemacht hätte. Wie das Informationsverhältnis der Text-Bild-Paare von den vier Experten tatsächlich beurteilt wurde, zeigt Abbildung 5.4.

Abbildung 5.4:Zusammenfassung der Expertenurteile

Geordnet nach den vier thematischen Abschnitten wurden hier die kongruenten und komplementären Versionen nebeneinander dargestellt. Es fällt sofort auf, dass nur eine der insgesamt vier kongruenten Themenabschnitte das Kriterium eines durchschnittlichen Informationsverhältnisses von≥2, in Abbildung 5.4 durch eine gestrichelte Linie

symbo-lisiert, erfüllte. Ähnliches gilt für die komplenetären Versionen, die alle mehr oder weniger deutlich über dem Wert 0 lagen. Dennoch waren die beiden Ausführung hinsichtlich der Informationsrelationen zwischen Text und Bild augescheinlich so verschieden, dass es gerechtfertigt war, von zwei Versionen auszugehen, die man als kongruent und komple-mentär bezeichnen konnte. Auf der Grundlage dieser Ergebnisse wurde schließlich darauf verzichtet, das Stimulusmaterial noch einmal zu überarbeiten.