Das Maß “Güte der Kausaldiagramme”

Zum Zweck der differenzierten Bewertung von Angaben, die ein Pb über vermutete Zusammenhangsstrukturen macht, kann eine Zerlegung dieser Angaben vorgenom-men werden. Die bei x exogenen und y endogenen Variablen resultierenden (x+y)·y möglichen Zellen der Systemmatrix (die Parameter des Strukturgleichungssystems) werden in Trefferzellen und Fehlerzellen unterteilt. Als Trefferzelle zählt jeder Parameter ungleich Null (mit Ausnahme der Eigendynamik: bei den Diagonalelementen der A_yy-Teilmatrix sind Trefferzellen auch bei Null-Einträgen möglich), als Fehlerzellen der verbleibende Rest. Das in mehreren Untersuchungen verwendete Standard-System SINUS besitzt somit acht Treffer- und zehn Fehlerzellen

1 Die in diesem Abschnitt dargelegten Überlegungen entstammen großenteils aus Dis-kussionen mit Horst MÜLLER, dem ich an dieser Stelle für seine Diskussionsfreude noch einmal danken möchte.

(vgl. Tabelle 3.2 weiter unten). Die Pbn-Angaben werden nach drei Komponenten hin ausgewertet:

(1) Richtige und falsche Relationen. Richtige Relationen werden kodiert, wo ein Pb eine nicht näher spezifizierte Angabe über das Vorliegen einer Variablenbezie-hung macht und eine BezieVariablenbezie-hung auch tatsächlich existiert. Falsche Relationen sind Angaben sowohl über Relationen, Vorzeichen als auch Wirkstärken, die sich auf die Fehlerzellen des objektiven Modells beziehen, also Relationen betreffen, die nicht realisiert wurden (die entsprechenden Parameter sind im objektiven Modell Null). Eine falsche Relation ist einem falschen Alarm vergleichbar, während der Entscheid für eine Trefferzelle einer korrekten Entscheidung entspricht.

(2) Richtige und falsche Vorzeichen. Diese Angaben beziehen sich nur noch auf Trefferzellen: Die Kategorie “richtiges Vorzeichen” betrifft diejenigen Pb-Angaben, die nur die Richtung einer Relation charakterisieren, dies aber korrekt.

(3) Richtige und falsche Wirkstärken. Auch hier werden nur die Trefferzellen be-trachtet: Richtige Wirkstärken liegen dann vor, wenn ein Pb den entsprechenden Parameter numerisch exakt angegeben hat. Derartige Treffer werden auch als Numeriktreffer bezeichnet.

Die nachfolgende Tabelle zeigt, welche Angaben überhaupt vorkommen können. Er-kennbar wird daraus, daß jede Angabe des Pb eindeutig einer von insgesamt acht Kategorien zugeordnet werden kann.

Während die Bedingungen (1) bis (3) in jeweils verschärfter Form Fehler repräsentie-ren, geben Bedingungen (4) bis (8) in aufsteigender Reihenfolge die korrekten Iden-tifikationsleistungen wieder. Die allgemeine Formel (3.6) zur Bestimmung einer Komponente – Relation, Vorzeichen bzw. Wirkstärken – lautet wie folgt:

GdK_komp = (1-p)·Treffer/Max(Treffer) - p·Fehler/Max(Fehler), (3.6) -p • GdK_komp • (1-p),

wobei p=Ratewahrscheinlichkeit, Treffer=Übereinstimmung in Trefferzelle, Fehler=Angabe in Fehlerzelle,

Max(Treffer,Fehler)=maximale mögliche Zahl an Treffern

bzw. Fehlern.

Tabelle 3.1: Kategorisierungsmöglichkeiten für die von Pbn gemachten Anga-ben in einem Kausaldiagramm.

Fehlerzellen Trefferzellen (1) Relationsangabe (4) Relationsangabe

(2) Vorzeichenangabe (5) Vorzeichenangabe falsch (3) Wirkstärkenangabe (6) Vorzeichenangabe richtig

(7) Wirkstärkenangabe falsch (8) Wirkstärkenangabe richtig

Der Ratewahrscheinlichkeit p kommt in dieser Formel eine besondere Bedeutung zu:

Mit ihr wird festgelegt, welches Vertrauen man in entsprechende Angaben des Pbn setzt. In gewisser Hinsicht reflektiert (1-p) so etwas wie die Reliabilität der Pbn-An-gaben. Mit p wird zugleich der mögliche Wertebereich des Maßes festgelegt: Der mögliche Range beträgt immer 1, jedoch ist das Minimum je nach p anders. Nur wenn p=0 gesetzt ist, liegt das Minimum tatsächlich bei Null und der Maximalwert bei 1; je größer p gewählt wird, umso mehr wird das Minimum in den negativen Bereich ver-schoben.

Die eben vorgestellte allgemeine Formel (3.6) nimmt für die drei verschiedenen Komponenten “Relationen”, “Vorzeichen”, “numerische Angaben” jeweils eine leicht veränderte Form an:

GdK_rel = (1-p_rel)·Relationstreffer/Max(Relationstreffer) (3.7) - p_rel·Relationsfehler/Max(Relationsfehler)

GdK_vor = (1-p_vor)·Vorzeichentreffer/Max(Vorzeichentreffer) (3.8) - p_vor·Vorzeichenfehler/Max(Vorzeichenfehler)

GdK_num = (1-p_num)·Numeriktreffer/Max(Numeriktreffer) (3.9) - p_num·Numerikfehler/Max(Numerikfehler)

Für Relations- und Vorzeichentreffer wird beim Standard-System SINUS eine Rate-wahrscheinlichkeit von 0.5 unterstellt; es wird dabei angenommen, daß bei zufälliger Entscheidung darüber, ob in einer Zelle eine Relation vorliegt oder nicht, kein “bias”

zugunsten einer bestimmten Form vorliegt. Ähnlich ist die Argumentation hinsichtlich der Ratewahrscheinlichkeit von 0.5 für die Vorzeichen: auch hier ist anzunehmen, daß beide Vorzeichenarten vom Pb als gleichwahrscheinlich angesehen werden. Dagegen wird für Numeriktreffer angesichts des Universums möglicher Werte diese Rate-wahrscheinlichkeit auf Null gesetzt wird. Somit resultieren die Werte prel=0.5, pvor=0.5 und pnum=0.0.

Das resultierende Maß GdKsum wird dann als gewichtete Summe der insgesamt drei Komponenten wie folgt bestimmt:

GdK_sum = G1 · GdK_rel + G2 · GdK_vor + G3 · GdK_num (3.10) wobei G1, G2, G3 = Gewichtungen.

Als Gewichtung der jeweiligen Komponenten im Standard-System SINUS wird für G1, G2 und G3 jeweils der Wert 1 gewählt. Diese Gewichtung bewirkt, daß jede Komponente mit maximal einem Punkt in den Summenwert einfließt, eine Ratewahr-scheinlichkeit von p=0 vorausgesetzt; somit ist die vorgeschlagene Gewichtung eine, die die Gleichbehandlung aller drei Komponenten impliziert. Dies gilt im übrigen auch dann, wenn eine von 0 abweichende Ratewahrscheinlichkeit gewählt wird.

Ein Beispiel möge die Berechnung der beschriebenen Maße illustrieren. Wir nehmen hierfür an, daß ein Pb die Standard-Version des Systems SINUS zu bearbeiten hat, dessen Treffer- und Fehlerzellen in Tabelle 3.2 aufgeführt sind

(Tabelle 3.2 ist nichts anderes als die dem System zugrundeliegende korrekte Parametermatrix).

Wie weiter oben bereits erwähnt, besteht dieses System aus acht Treffer- und zehn Fehlerzellen. Man nehme nun weiter an, ein Pb habe das in Tabelle 3.3 wiedergege-bene subjektive Kausalmodell auf dem Formblatt eingezeichnet.

Für das in der Tabelle gezeigte Zahlenbeispiel gibt es auf der Relationsebene 7 von maximal 8 Treffern und 1 von maximal 10 Fehler; auf der Vorzeichenebene liegen 6 von maximal 8 Treffern in der richtigen Richtung, keiner in der falschen Richtung;

auf Numerikebene sind 3 von maximal 8 Angaben Treffer und 1 von 8 ein Fehler.

Aufgrund der Logik des Maßes sind – wie hieran erkennbar ist – numerische Treffer auch zugleich Vorzeichen- und Relationstreffer, Vorzeichentreffer sind immer auch zugleich schon Relationstreffer. Diese Eigenschaft des GdK-Maßes wird im folgen-den Kapitel näher dargelegt.

Die Werte für die drei Komponenten GdK_rel, GdK_vor und GdK_num für den Bei-spielsfall betragen somit nach Formeln 3.7 bis 3.9 und unter Zugrundelegung der ge-nannten p-Werte (0.5, 0.5 und 0.0): 0.39 (max: 0.50), 0.37 (max: 0.50) und 0.37 (max:

1.0). GdK_sum beträgt für das Beispiel also 1.15 von maximal 2.0 Punkten.

In Kapitel 4 wird – solange keine differenzierteren Analysen mit den Komponenten vorgenommen werden – der Variablenname GdK abkürzend für die gewichtete

Tabelle 3.2: Treffer- und Fehlerzellen im Standard-System SINUS: Die leeren Tabelleneinträge sind Fehlerzellen, die mit Parametern ungleich Null gefüllten sind Trefferzellen.

(t+1) Olschen (t) Mukern (t) Raskeln (t) Gaseln (t) Schmorken (t) Sisen (t)

Gaseln 10 1

Schmorken 3 1 0.2

Sisen 2 0.5 0.9

Tabelle 3.3: Beispiel für ein subjektives Kausaldiagramm des Systems “SI-NUS”: die vom Pb auf das Formblatt (vgl. Abb. 3.3) eingezeichne-ten Pfeile wurden in Tabelleneinträge umkodiert (ein “*” bedeutet Relations-, ein “+” bzw. “-” Vorzeichenangabe, Zahlen bedeuten angegebene Wirkstärken; die Buchstaben qualifizieren die Angaben als Treffer bzw. Fehler auf den Ebenen Relation, Vorzeichen und Numerik).

(t+1) Olschen (t) Mukern (t) Raskeln (t) Gaseln (t) Schmorken (t) Sisen (t)

Gaseln 10 TN 1 TN 2 FR

Schmorken + TV 1 TN

Sisen 2.5 TV * TR + TV

Summe GdK_sum verwendet.² Diese gewichtete Summenbildung über verschiedene Repräsentationsebenen reflektiert nach unseren Erfahrungen das globale Wissensniveau eines Pbn recht gut und erweist sich nach Untersuchungen von MÜLLER (in press) als reliabler Indikator (vgl. Kap. 3.6). Je nach Untersuchungsabsicht ist zu entscheiden, ob mit dem globalen GdK_sum-Indikator oder den differenzierten Indices für die drei Ebenen gearbeitet werden soll.