Anforderungen an das Untersuchungsdesign

Empirische Forschung muss Mindestkriterien erfüllen, um valide Ergebnisse zu erzielen.

Dieses ist in den sozialwissenschaftlichen Disziplinen eine allgemein anerkannte und auch in der Praxis in breitem Umfang eingesetzte Regel. In der ingenieurwissen-schaftlichen Konstruktionsforschung werden diese Kriterien jedoch oft vernachlässigt.

Grundlegende Gütekriterien für die empirische Forschung und Möglichkeiten ihrer Ope-rationalisierung für die Konstruktionsforschung werden deshalb hier kurz diskutiert.

BORTZ & DÖRING 2002 (S. 56f. und S. 193ff.) sowie LIENERT & RAATZ 1998 (S. 29ff.) definieren Anforderungen standardisierter empirischer Verfahren (Abbildung 4-1).

16 In Summe haben sie allerdings weit überwiegend mindestens tendenziell übereinstimmende Aussagen, die wesent-liches Fundament auch dieser Arbeit sind, erbracht, so dass ihre Bedeutung hier keinesfalls geschmälert werden soll.

empirische Forschung Objektivität

Reliabiliät

Validiät

Kosten/ Nutzen empirische Relevanz Abbildung 4-1: Gütekriterien für empirische Forschung

Die Einhaltung dieser Gütekriterien wirft in der Konstruktionsforschung besondere Prob-leme auf und erfordert deshalb z.T. spezifische Anpassungen an den besonderen Un-tersuchungsgegenstand:

• Objektivität, d.h. die intersubjektive Übereinstimmung in Durchführung, Auswertung und Interpretation einer Untersuchung

Die Objektivität einer Untersuchung gibt an, in welchem Maße die Untersuchungser-gebnisse vom Durchführenden der Untersuchung unabhängig sind. Für die Durchfüh-rung einer Untersuchung bedeutet dies, dass z.B. eine zu bearbeitende Testaufgabe unabhängig davon, wer die Aufgabe stellt, von allen Versuchsteilnehmern gleich ver-standen werden muss. Bei der Auswertung sollten alle Auswerter zu identischen Beur-teilungen kommen und auch bei der Interpretation von Untersuchungsergebnissen dür-fen individuelle Deutungen nicht einfließen. Diese Anforderungen sind in der Konstrukti-onsforschung kaum vollständig einzuhalten. So ist z.B. die Normierung der Ergebnisse von Konstruktionsprozessen unmöglich, eine ideale Referenzlösung gibt es in der Regel nicht. Gleichwohl kann durch geeignete Verfahren eine möglichst hohe Objektivität an-gestrebt werden. Eine Möglichkeit zur Erhöhung der Auswertungsobjektivität ist z.B. die Bildung von Auswertegruppen.

• Reliabilität, d.h. die Genauigkeit und Reproduzierbarkeit, mit der ein Merkmal ge-messen werden kann

Reliabilität beschreibt die Zuverlässigkeit der verwendeten Verfahren und Methoden. Im Idealfall einer vollständigen Reliabilität einer Untersuchungsmethode liefert diese den

„wahren“ Wert eines Merkmals ohne jeden Fehler. Aus dem Reliabilitätskriterium erge-ben sich für die Gestaltung einer Untersuchungsmethode zwei Ziele. Die Retestreliabli-tät strebt an, dass Auswerter zu einem späteren Zeitpunkt mit der gleichen Untersu-chungsmethode wieder zum gleichen Auswertungsergebnis gelangen. Paralleltestrelia-bilität bedeutet, dass eine andere Operationalisierung der gleichen Untersuchungsme-thode – d.h. z.B. eine ähnliche Version einer Testaufgabe – zum gleichen Ergebnis führt. Dieses Kriterium stellt besonders hohe Anforderungen an Testaufgaben in der

Konstruktionsforschung, da es besonders schwierig ist, verschiedene Operationalisie-rungen der gleichen Konstruktionsaufgabe zu formulieren (vgl. Kapitel 4.1.4). In der vor-liegenden Studie, bei der eine Vielzahl von Auswertungen auf qualitativen Schätzurteilen beruht, wurde die Reliabilität der Analyse und Interpretation erhobener Daten durch die kooperative Herstellung der Beurteilerübereinstimmung in eine Beurteilergruppe – bestehend aus jeweils mindestens zwei Konstruktionsexperten – sichergestellt.

• Validität oder Gültigkeit, d.h. die Aussagekraft der Untersuchungsergebnisse

Validität bezeichnet die Güte, mit der eine Untersuchungsmethode diejenigen Merkmale misst, die sie zu messen vorgibt. Das bedeutet insbesondere, dass ein Untersuchungs-ergebnis auch tatsächlich auf den Einfluss einer unabhängigen Variablen zurückzufüh-ren ist, d.h. dass es neben der Untersuchungshypothese keine vernünftige Alternativer-klärung gibt. Dieses lässt sich z.B. dadurch sicherstellen, dass zur Überprüfung der glei-chen Hypothese verschiedene Untersuchungsmethoden eingesetzt werden.

• empirische Relevanz, d.h. die Übertragbarkeit von Untersuchungsergebnissen aus einer experimentellen Situation in die Realität

Dieses auch als „externe Validität“ bezeichnete Kriterium ist für die experimentelle For-schung im Labor besonders wichtig. In einem Experiment soll eine künstliche Situation geschaffen werden, in der sich Variablen besonders gut beobachten und vor allem iso-lieren lassen, um die anderen Gütekriterien – vor allem Objektivität und Reliabilität – besser als z.B. in einer Feldstudie erfüllen zu können. Die künstliche Laborsituation muss aber gleichwohl die reale Situation, über die sie Aussagen ermöglichen soll, so abbilden, dass die Aussagen tatsächlich generalisierbar und auf die Realität übertragbar sind. Hierfür muss sie so viele Merkmale der realen Situation aufweisen wie möglich.

• Kosten/ Nutzen, d.h. die Effizienz der eingesetzten Verfahren und Methoden

Dieses Kriterium beschreibt vor allem die ausgeglichene Balance zwischen dem Auf-wand zur Erhebung und Auswertung von Daten und dem daraus gewonnenen tatsächli-chen Nutzen, der sich vor allem in der Aussagekraft der Ergebnisse bemisst. Insbeson-dere bei Studien, die Beobachtung, Analyse und Interpretation komplexer menschlicher Denk- und Handlungsprozesse zum Gegenstand haben, erreicht die Menge zu erhe-bender Daten schnell Dimensionen, die nicht mehr handhabbar sind (z.B. bei der Vi-deobeobachtung vieler Versuchspersonen über lange Zeiträume). Die weitere Analyse einer solchen Datenmenge sprengt dann schnell jeden vernünftigen Rahmen. Es ist deshalb von besonderer Bedeutung, vorab zu definieren, welche Daten mit welchen Me-thoden und in welchem Umfang erhoben und auf welche Weise diese dann weiter ver-arbeitet werden sollen. Auch der Aufwand potenzieller Versuchspersonen, die ihre Zeit und personenbezogene Daten zur Verfügung stellen sollen und sich in eine ggf. körper-lich und psychisch belastende Untersuchungssituation begeben, muss dabei unbedingt berücksichtigt werden.

Um diese vier Gütekriterien auch in der Konstruktionsforschung zu erfüllen, muss ein Forschungsdesign für eine empirische Laborstudie einem systematischen Ansatz folgen, der die folgenden Arbeitsschritte umfasst (vgl. auch BENDER ET AL.2001A):

• Untersuchungsplanung und Pretest,

• Untersuchungsdurchführung und Datenerhebung,

• Dokumentation der erhobenen Daten,

• Analyse der erhobenen Daten,

• Interpretation der Ergebnisse der Datenanalyse

deskriptive Hypothesen

Untersuchung/

Datenerhebung

Dokumentation der erhobenen Daten

Analyse der erhobenen Daten

Interpretation der analysierten Daten

Untersuchungs-ergebnisse Planung und Pretest

der Untersuchung

präskriptive Synthese

Abbildung 4-2: Systematisches Vorgehen in empirischen Laborstudien

Dieser Ansatz wurde bei der hier beschriebenen Laborstudie konsequent umgesetzt.

Auf der Basis der Forschungshypothesen (vgl. Kapitel 3.4) wurde eine ex post facto Un-tersuchung systematisch geplant und in allen wesentlichen Elementen vorab getestet.

Dabei wurden unter anderem Kriterien für die Auswahl von Versuchspersonen, Testauf-gaben zur Bearbeitung durch die Versuchspersonen, unabhängige und abhängige Vari-ablen der Beobachtung sowie räumliche und zeitliche Randbedingungen der Laborver-suche definiert.

Für die Datenerhebung wurde auf erprobte Methoden der komplexen Handlungsanalyse zurückgegriffen:

• die Beobachtung handelnder Personen während ihrer Handlungen,

• die Analyse der Produkte und Ergebnisse (z.B. Dokumente) der Handlungen,

• die retrospektive Befragung handelnder Personen über ihr Handeln.

Zur Vorgehensbeobachtung wurde eine diskontinuierliche, nicht teilnehmende, offene Fremdbeobachtung der Versuchspersonen durch die Versuchsleiter unter Einsatz tech-nischer Hilfsmittel gewählt (ausführlich vgl. Kapitel 4.2).

Für die Analyse der so erhobenen Daten wurde ein Instrumentarium eingesetzt, das es erlaubt, die Beobachtungen so aufzubereiten, dass diese systematisch dokumentiert und klassifiziert werden konnten. Es handelte sich dabei in großem Maße um interpre-tationsbedürftige eher qualitative Beobachtungen, die über standardisierte Kodierungs-schemata einer quantitativen Analyse zugänglich gemacht wurden. Die Interpretation der so analysierten Daten erfolgte auf der Basis der in den Kapiteln 2.1 und 3.1 darge-legten präskriptiven und deskriptiven theoretischen Grundüberlegungen aus der Kon-struktionsforschung sowie der in 2.3 umrissenen Erkenntnisse der kognitionspsycho-logischen Forschung zum komplexen Problemlösen und zielgerichteten Handeln (aus-führlich vgl. Kapitel 4.3).