Auf Basis der Überarbeitung des LPS wurde die Computerversion (CV) für möglichst universale Einsetzbarkeit zur Nutzung mittels Browser in den Programmiersprachen html und JavaScript (www.w3.org) sowie php (www.php.net) umgesetzt. Die Items des originalen LPS‐Testbogens wurden eingescannt und im Programm Inkscape (Version 0.46, www.inkscape.org) als Vektor‐
grafik aufgearbeitet, so dass es möglich wurde, die Darstellung der Items bei höchstmöglichem Kontrast ohne Qualitätsverlust jeder Größe anzupassen. Die Umsetzung der CV ermöglicht es, die Testung an jedem PC durchzuführen. Zur Datenerhebung war jedoch zusätzlich eine Inter‐
netanbindung notwendig, da die Daten in einer zentralen Datenbank (MySql, www.mysql.de) gespeichert wurden. In einer Vorstudie wurden zunächst nur Bedingungen untersucht, in denen die Items einzeln präsentiert wurden. Die Hauptuntersuchung wurde um die Darstellung aller Items als Analogie zur Papier‐Bleistift‐Version (PBV) erweitert.
5.1 Bedingungen der Computerversion
Zur Untersuchung der Effekte verschiedener Darstellungen des Tests am Computer wurde die Präsentation der Items nach drei Bedingungen variiert:
1. Menge: Einzelitempräsentation vs. Gesamtpräsentation
2. Bearbeitbarkeit: Einmaliges Anklicken vs. Bestätigung der Lösung vs. Korrigierbarkeit bis zum Subtestende
3. Zeitvorgabe: Keine Anzeige vs. Anzeige der Gesamtzeit vs. Zeitbeschränkung für jedes Item
Der Aspekt der Darstellung der Items am PC in ihrer Gesamtheit, also analog zur PBV, im Ver‐
gleich zur Präsentation jedes Items einzeln ist insbesondere aus zwei Gründen relevant. Zum einen wird in aktuellen Umsetzungen von bestehenden Tests als CV in der Regel die Einzeli‐
temdarstellung gewählt. Zum anderen wäre die Äquivalenz der Einzelitemdarstellung aber im Hinblick auf die Möglichkeit, adaptive Testdurchführung zu nutzen, wünschenswert. Es stellt sich hierbei aber die Frage, ob durch diese offensichtlich deutliche Veränderung des Umfelds des Items eine Beeinflussung der Testleistung zu erwarten ist. Während in der PBV ein Item zumin‐
dest von den vorhergehenden und nachfolgenden Items umgeben ist, im LPS sogar von Items der anderen Subtests, wird in der CV in der Einzelitemdarstellung das Item dem Begriff entspre‐
chend alleine abgebildet. Es fehlen somit vermeintlich störende Reize. Andererseits wird der Rückgriff auf bereits bearbeitete Items erschwert. Auf ein bereits angewandtes Lösungsschema kann nur mehr über dessen mentale Repräsentation zurückgegriffen werden. In der PBV ist es hingegen leicht möglich, sich ein bereits bearbeitetes Item wiederholt zu vergegenwärtigen. Au‐
ßerdem besteht in der PBV die Möglichkeit, ohne großen Zeitverlust Items auszulassen und erst später zu bearbeiten. In der CV vieler Tests gibt es keine Möglichkeit, die Antwort von bereits bearbeiteten Items zu ändern; in einigen Tests ist das Ändern des letzten oder vorletzten Items erlaubt. Aber auch in Tests mit CV, die prinzipiell das Ändern von Antworten zulassen, ist diese Änderung bei Einzelitemdarstellung mit einem größeren Zeitverlust verbunden als in einer PBV.
Werden alle Items analog zur PBV auch in der CV gesamt dargestellt, ergibt sich in der Regel das
52 · Die Computerversion des neuen LPS
Problem, dass bei vielen Tests (insbesondere dem LPS) die Zahl der Items so groß ist, dass eine gleichzeitige Darstellung aller Items nicht möglich ist, da die Items in diesem Fall so klein ska‐
liert sein müssten, dass sie nicht oder nur kaum lesbar wären (zumindest auf Monitoren der üblichen Größe). Nur durch Scrollen können dann die ersten oder letzten Items gesehen werden.
Auch dies stellt eine vermeintliche Einschränkung im Vergleich zur PBV dar, wobei dieser Effekt als nicht besonders groß erachtet werden kann. Ein Nachteil der Gesamtdarstellung sei noch erwähnt: Im Gegensatz zur Einzelitemdarstellung kann es hierbei passieren, dass Items verse‐
hentlich vergessen bzw. ausgelassen werden. Insbesondere bei Tests, deren PBV in ein Testheft und einen Antwortbogen unterteilt ist, kann es zudem passieren, dass durch das Verrutschen auf dem Antwortbogen alle ab diesem Zeitpunkt beantworteten Items als falsch gewertet werden.
Bei der Einzelitemdarstellung hingegen ist nur ein bewusstes Auslassen eines Items möglich.
Der zweite Faktor, die Variation der Bearbeitungsmöglichkeiten, ist insofern relevant, als dass hier in verschiedenen Umsetzungen von PBV jeweils Gebrauch gemacht wird. In der Mehr‐
heit der CV, die die Items einzeln darstellen, ist eine Lösung auszuwählen und zu bestätigen, um zum nächsten Item zu gelangen. Einige Verfahren verzichten jedoch auf die Bestätigung. Falls zu bereits bearbeiteten Items zurückgekehrt werden kann, ist dies in der Regel mit der Möglichkeit der Korrektur verbunden. Diese dritte Variante entspricht am ehesten dem Prozedere in der PBV, wo in den meisten Testverfahren Änderungen bereits abgegebener Lösungen zulässig sind.
In einer CV mit Einzelitemdarstellung ist eine solche Korrektur jedoch mit einem gewissen Auf‐
wand verbunden, da man ja erst zu dem entsprechenden Item zurückfinden muss. Durch die Verhinderung dieser Möglichkeit wird somit ein derartiger Ressourcenverbrauch unterbunden, was dazu führen kann, dass stattdessen mehrere Items bearbeitet werden und somit zumindest die Wahrscheinlichkeit, weitere richtige Lösungen bzw. Rohpunkte zu sammeln, erhöht wird.
Andererseits kann insbesondere die Bedingung, in der ohne Bestätigung zum nächsten Item gewechselt wird, zu Frustration führen, wenn sich der Proband lediglich verklickt und somit seinen Fehler unmittelbar bemerkt. Dies wiederum kann zu einer Erhöhung der Aufmerksam‐
keit und damit zu mehr korrekten Lösungen führen. Hinsichtlich des Anwendungsaspekts des adaptiven Testens gilt ferner zu bedenken, ob das Zulassen von Korrekturen überhaupt umsetz‐
bar ist. Da die Präsentation von späteren Items von der richtigen bzw. falschen Bearbeitung der vorhergehenden Items abhängt, führt eine Änderung einer bereits abgegeben Lösung zur Ände‐
rung des bereits beschrittenen Entscheidungsbaumes. Durch unmittelbare Berechnung der Per‐
sonenfähigkeit nach jedem Item sollte diese Situation zwar prinzipiell handhabbar sein, die Än‐
derungen der Paramater der in den zwischen der ersten Lösung und der Korrektur bearbeiteten Items stellen jedoch einen gewissen Aufwand dar, so dass in diesem Sinne Äquivalenz ohne Kor‐
rekturmöglichkeit wünschenswerter wäre.
Insbesondere der Aspekt der Aufmerksamkeit und Konzentration wird durch den dritten Faktor berührt: die Vorgabe der Bearbeitungszeit. Alle drei Bedingungen haben Vor‐ und Nach‐
teile. Keine Zeitangabe entspricht in der Regel der Bearbeitung der PBV. Im Unterschied dazu hat der Proband in der Einzelitemdarstellung (aber auch bedingt in der Gesamtdarstellung) in der CV den Nachteil, dass er einen schlechten Überblick über die bereits bearbeiteten und noch zu bearbeitenden Items hat. Der Vorteil ist, dass die Probanden zum Ende des Tests nicht begin‐
nen können zu raten. Dies stellt sich vornehmlich als Problem der Variante der CV dar, in der die restliche oder abgelaufene Zeit während der Bearbeitung angezeigt wird. Anderseits können die
Die Computerversion des neuen LPS · 53 Items, die nicht unmittelbar zum Schluss bearbeitet werden, ohne den Stress der vermeintlich ablaufenden Bearbeitungszeit gelöst werden. Durch die Vorgabe der Bearbeitungszeit pro Item wird ein gewisser Druck aufgebaut, sobald die Schwierigkeit der Items eine problemlose Bear‐
beitung ohne Zeitnot nicht mehr zulassen. Demgegenüber forciert eine Begrenzung der Bearbei‐
tungsdauer einzelner Items die Beschäftigung mit einer größeren Anzahl von Items, die dann aber teilweise heuristisch oder durch Raten gelöst werden müssen.
5.2 Ableitung von Hypothesen auf Grundlage der Bedingungen der Computerversion des LPS
Aus dem vorhergehenden Kapitel wird deutlich, dass die variierten Bedingungen der sozusagen unterschiedlichen Computerversionen zumeist sowohl förderliche als auch hinderliche Aspekte bezüglich der Äquivalenz der beiden Modi (CV und PBV) haben können. Es ist zu erwarten, dass die Relevanz des Einflusses zudem abhängig von den speziellen Eigenschaften der jeweiligen Subtests ist. Um eine Flut von Hypothesenformulierungen, die im Extremfall in 165 Paarverglei‐
chen (3311 3211 99 66 165) bezüglich CV vs. PBV plus den diversen Interaktions‐
und Haupteffekten resultieren würde, zu vermeiden, wird die Forschungsfrage der Arbeit in allgemeiner Form gestellt, ohne dabei zu prüfende einzelne Hypothesen auszuformulieren.
Hinsichtlich der derzeitigen Praxis der Übertragung von PBV eines Tests auf den Computer wäre der Idealfall, dass unabhängig von der Form der CV, also unter allen Bedingungen, Äquiva‐
lenz vorliegt. Im Rahmen der KTT bedeutet Äquivalenz, dass die beiden Testungen (CV und PBV) parallel sind. Zur Nutzung derselben Normen muss strenge Parallelität gefordert werden. Es müssen daher Mittelwert und Varianz überprüft werden und folgenden Zusammenhang erfüllen (vgl. (8‐8)):
(5‐1) ,
Außerdem muss die Korrelation der Ergebnisse in den Modi ausreichend hoch sein. Nach Lie‐
nert und Raatz (1998, S. 269) ist eine angemessene Untergrenze für die Re‐ und Paralleltest‐
Reliabilität von standardisierten Leistungstests .80, also:
(5‐2) .80
Bei der Umsetzung der PBV auf den Computer ist zu erwarten, dass eine fast identische Abbil‐
dung des Tests, sprich als Gesamtdarstellung mit Korrekturmöglichkeit und ohne sichtbare Zeit‐
angabe, am ehesten zu äquivalenten Ergebnissen führt, da hierbei lediglich den Computer als solches betreffende Faktoren (z. B. Ängste, Skepsis, Eingabemodalitäten) verzerrend wirken können; diese Einflüsse wirken jedoch in jeder anderen Bedingung der CV auch. Dementspre‐
chend wird in dieser Bedingung am ehesten Äquivalenz erwartet.
Inferenzstatistische Methoden · 55