© F. Enke Verlag Stuttgart Zeitschrift für Soziologie, Jg. 8, Heft 3, Juli 1979, S. 267 - 278 V e r ö ffe n tlic h te em p irisch e S ozialforsch u n g: E in e K u m u la tio n v o n A rtefak ten ?
Eine A n a ly se v on P eriodika Heinz Sahner
Institut für Soziologie der Christian-Albrechts-Universität Kiel Olshausenstraße 40/60, D-2300 Kiel
Z u s a m m e n f a s s u n g : Die vorliegende Arbeit versucht, empirisch fundierte Anhaltspunkte für die These zu finden, daß individuelle Haltungen bzw. soziale Erwartungen den Datenanalyseprozeß dergestalt beeinflussen, daß zumindest Teile der veröffentlichten empirischen Sozialforschung als Artefakte bezeichnet werden müssen. Die Prüfung geschieht wie folgt: Einmal wird zu prüfen versucht, ob signifikante Ergebnisse eine größere Publikations
chance haben als nicht-signifikante. Unter den Publikationen, die Signifikanztests aufführen, dominieren die Arti
kel mit überwiegend signifikanten Ergebnissen (74%). Von den Signifikanztests insgesamt resultieren 60% in signi
fikant und 40% in nicht signifikanten Ergebnissen. Zum anderen wird geprüft, ob ex ante formulierte und gerichtete Hypothesen eher bestätigt oder eher widerlegt werden. Die Analyse zeigt, daß 75% derartiger Hypothesen bestätigt und nur 25% widerlegt oder modifiziert werden. Selbst bei empirischer Sozialforschung, die vergleichsweise restrik
tiv vorgeht (ex ante formulierte Hypothesen prüft), besteht der Verdacht, daß sie noch einmal das bestätigt, was man ohnehin schon weiß. Bei beiden Überprüfungsversuchen der angeführten These besteht aber die Schwierigkeit, ein Entscheidungskriterium anzugeben.
1. Vorbemerkung
Gültigkeitsprobleme spielen innerhalb der Sozial
forschung eine bedeutsame Rolle. Hinsichtlich dieser Problematik ist zwar der gesamte For
schungsprozeß prekär, das Interesse richtet sich aber in diesem Zusammenhang vorwiegend auf die Datenerhebung. Hier wiederum dominieren die Forschungen zu dem Datenerhebungsverfah
ren Interview (vgl. z.B. Scheuch 1973, Esser 1975). Derartige Probleme zu verfolgen ist zwei
fellos wichtig. Nicht minder bedeutsam ist je
doch eine Antwort auf die Frage, was mit den erhobenen Daten geschehen sei. Hier herrscht weitgehend individuelle und unkontrollierte Be
liebigkeit. Offenbar ist man der Auffassung, daß — ist man erst einmal im Besitz eines „gül
tigen“ Satzes von Daten - bei der Datenanalyse nichts mehr schief gehen kann. Dabei dürfte je
dem einigermaßen mit empirischer Forschung vertrauten Soziologen klar sein, daß ein Survey mit verschiedenen Vorurteilen vereinbar ist. Und es besteht sogar die Gefahr, daß der Forscher dies auch - bewußt oder unbewußt - weidlich ausnutzt und die seinen Vorurteilen genehmen Aspekte extrahiert. Diese Vermutung haben sicher viele; Versuche, dieses Vorurteil wieder
um empirisch zu stützen, sind selten. Sollte diese Befürchtung nicht völlig aus der Luft ge
griffen sein, so dürfte es doch nicht schwierig sein, Belege für diese These zu finden. Es wird den Leser nun nicht mehr überraschen, daß die im folgenden präsentierten Daten nach meiner Meinung just dazu geeignet sind.
Dieser Beitrag hat also einen empirischen Schwer
punkt. Er hat aber auch einen wissenschafts
theoretischen Aspekt. Nach meiner Meinung re
sultieren weitaus mehr Mängel daraus, daß Re
geln, metatheoretische Forderungen, die man weitgehend für ganz sinnvoll betrachtet, nicht eingehalten werden. Angesichts dieser Misere stellt sich die Frage — und das wäre der dritte zu behandelnde Aspekt: Was tun? Da uns Kri
tik allein kaum weiterhilft, möchte ich eine Möglichkeit aufzeigen, die es uns erleichtern soll, diese metatheoretischen Regeln zu realisie
ren — zumindest eine.
2. Metatheorie und Forschungspraxis Die Diskrepanz zwischen „normaler Wissen
schaft“ (Kuhn 1967) und Wissenschaftstheorie ist ein allseitig beklagtes Faktum und gilt nicht nur für den naturwissenschaftlichen Bereich, auf den sich die Thesen Kuhns vorwiegend beziehen, sondern in besonderer Weise für den sozialwis
senschaftlichen Bereich. Sowenig, wie man eine Berücksichtigung metatheoretischer Postulate in
nerhalb der Forschungspraxis beobachten kann, sowenig kümmern sich die Wissenschaftstheore
tiker um die „normale Wissenschaft“ , so daß immer noch ein Diktum von Lazarsfeld gilt:
„Den in Gang befindlichen empirischen Arbei
ten auf dem Gebiet der Sozialforschung widmen die Wissenschaftstheoretiker jedoch keinerlei Aufmerksamkeit“ (Lazarsfeld 1965: 37). Tat
sächlich läßt sich auch eine strenge Trennung
hinsichtlich des Personals zwischen empirisch vorgehenden Sozialforschern und Meta-Theore
tikern konstatieren. Anwendungen meta-theore
tischer Aussagen in empirischen Untersuchungen sind von den Hauptexponenten z.B. des kriti
schen Rationalismus im deutschen Sprachbereich unbekannt. Zwar wird der Terminus „Empirie“
stets strapaziert, doch mündet der Anspruch nicht in empirische Arbeiten ein1.
Andererseits lassen die Vertreter einer empirisch orientierten Soziologie kaum Versuche erkennen, die von den Meta-Theoretikern angebotenen For
schungsstrategien anzuwenden, so daß man der gängigen Kritik an dem Theoriedefizit der Pro
tagonisten des im angelsächsischen Bereich vor
herrschenden Soziologieverständnisses noch die einer mangelnden Reflexion meta-theoretischer Postulate anhängen kann. Selten sind die Ver
suche, empirische Sozialforschung vor dem Hin
tergrund allgemeiner soziologischer Theorien und unter konsequenter Anwendung metatheoreti
scher Regeln zu betreiben. Die Arbeiten von Opp (1972, 1974; vgl. auch Opp und Heydt 1968, Opp und Hummell 1969) bilden hier eine Ausnahme. Die mangelnde Berücksichtigung me
ta-theoretischer Postulate in der Forschungspra
xis birgt jedoch die Gefahr, daß empirische So
zialforschung zu einem Verfahren zur Produk
tion von Artefakten degeneriert. Allein daraus, daß metahteoretische Regeln nicht angewendet werden oder daß laufend gegen sie verstoßen wird, ergibt sich nicht die Notwendigkeit, sie zu verwerfen, wie es z.B. Feyerabend (1976) empfiehlt. Es einmal mit der Einhaltung solcher Regeln zu versuchen, liegt näher.
Ich möchte in diesem Zusammenhang auf zwei Gesichtspunkte verweisen, die innerhalb des kri
tischen Rationalismus eine bedeutende Rolle spielen. Der eine bezieht sich auf die Einsicht, daß Aussagen nicht empirisch zu fundieren sind, der andere bezieht sich auf das Postulat der Kri
tik. Eine rein empirische Begründung von Theo
rien bzw. von Basissätzen, die ja Prüfsteine Für die Gültigkeit von Theorien darstellen sollen, gibt es nicht. Zur Stützung von Sätzen sind wir
1 Ganz anders die Opponenten im „Positivmusstreit“
Adorno und Habermas, die selbst empirische Arbeiten vorgelegt haben, wenn auch hier vergeblich eine der kritischen Theorie bzw. der dialektischen Methode ei
gene Verfahrensweise gesucht wird. Vgl. z.B. Adorno u.a. 1950; Habermas u.a. 1961.
immer wieder gezwungen, auf Hintergrundwis
sen, auf Instrumententheorien zurückzugreifen.
Dies in Auseinandersetzung mit dem Wiener Kreis deutlich gemacht zu haben, ist das Ver
dienst Poppers (1973, zuerst 1934; vgl. z.B.:
60 ff). „Nackte Tatsachen“ gibt es also nicht, hier ist Feyerabend beizupflichten (1976: 30).
Damit deuten sich die in der Forschungspraxis auftretenden Schwierigkeiten an, denn alle „Tat
sachen“ , die in unsere Erkenntnis eingehen, wer
den auf bestimmte Weise gesehen (Feyerabend 1976: 30). Der einzelne Forscher hat einen ge
wissen Spielraum für die Behandlung seiner Da
ten bzw. die Überprüfung seiner These; sein Vorurteil wird nicht ohne Einfluß darauf sein, wie er seine Theorie überprüft. Variablenauswahl, Korrespondenzregeln, Faktorenkontrolle verlan
gen individuelle Entscheidungen, die lediglich Plausibilitätsgesichtspunkten genügen. Kurz, mit
hilfe des gleichen Datensatzes können zwei For
scher durchaus zu unterschiedlichen Ergebnissen hinsichtlich der Überprüfung einer Theorie kom
men. Oder negativer formuliert: Ein Datensatz, und das gilt vor allem für Surveys aufgrund der größeren Wahlmöglichkeit zwischen i.d.R. zahl
reichen Variablen, ist mit unterschiedlichen Vor
urteilen vereinbar.
Als wichtiges Korrektiv für diese individuellen, höchst subjektiven Entscheidungen könnte das Postulat der Kritik dienen. „Jene Theorie ist be
vorzugt, die sich im Wettbewerb, in der Auslese der Theorien am besten behauptet, die am strengsten überprüft werden kann und den bis
herigen strengen Prüfungen auch standgehalten hat“ (Popper 1973: 73). Es muß aber bezweifelt werden, daß es in der Forschungspraxis zu ei
nem derartigen Wettbewerb kommt. Über die Gültigkeit von Theorien wird nicht innerhalb ei
ner konkurrierenden „scientific community“
entschieden, also sozial sondern höchst indivi
duell wobei das Ziel „Objektivität“ auf der Strecke bleibt. Zwar garantiert ein funktionsfä
higer Wettbewerb, eine konkurrierende „scien
tific community“ , nicht letztgültige Wahrheit, zumindest nicht nach Popper, doch könnten so individuelle Verzerrungen minimiert werden.
Von der Erfüllung dieses Postulates ist die For
schungspraxis aber weit entfernt. So, wie sie sich darstellt, besteht die Tendenz zur Produk
tion von Artefakten. Die Genese derartiger Arte
fakte variiert. Man kann sozusagen verschiedene Typen unterscheiden.
H. Sahnen Veröffentlichte empirische Sozialforschung: Eine Kumulation von Artefakten? 269 Artefakte vom Typ A:
Dieser Typ soll dadurch charakterisiert sein, daß z.B. die für einen Hypothesentest erforderlichen Standards erfüllt worden sind. Die Problematik liegt hier in der selektiven Verwendung und Dif
fusion von Ergebnissen.
Da hat jemand zu Beginn eines Forschungspro
zesses eine Hypothese formuliert, die er anhand eines durch Zufallsauswahl gewonnenen Daten
satzes (ohne Ausfälle) einem Signifikanztest un
terzieht. Mein Vorurteil ist, daß für den Fall der Nicht-Signifikanz die Chance einer Publikation geringer ist als für den Fall einer signifikanten Beziehung. Die Gefahr der Produktion von Arte
fakten resultiert hier also daraus, daß empirische Befunde in gute — signifikante - und schlechte
- nicht signifikante — Ergebnisse eingeteilt wer
den. Die Erklärung sozialer Phänomene wird dann erschwert — wenn nicht verhindert —, wenn nur die Ergebnisse publiziert werden, die signifikant sind. Dies dürfte einleuchten. Selbst wenn in einer Grundgesamtheit zwischen zwei Variablen keine Korrelation besteht, werden wir natürlich in ungefähr fünf von hundert Fällen (bei einem Signifikanzniveau von p = 0,05) in unserer Auswahl signifikante Beziehungen fest
stellen können. Werden nun aber - getreu der angeführten Verfahrensweise — nur diese signifi
kanten Ergebnisse publiziert, verbreitet man (empirische) Artefakte, ln diesen 5 von 100 Fäl
len verwirft man ja Hq, obwohl sie richtig ist (Fehler 1. Art). Da diese fünf von hundert Fäl
len eine größere Verbreitungschance haben (sig
nifikante Ergebnisse werden höher bewertet), sind die Periodika — so lautet der Schluß - voll von empirischen Untersuchungen, deren Ergeb
nisse den Fehlertyp I repräsentieren.
Nehmen wir an, jemand ist an der Prüfung des von ihm schon immer behaupteten Zusammen
hanges zwischen sozialer Schicht und psychischer Erkrankung interessiert. Selbst wenn in der Grundgesamtheit keine Beziehung zwischen den Variablen „Soziale Schicht“ und „Psychische Erkrankung“ vorliegt, wird in den Periodika den noch dieser Tatbestand behauptet werden, falls er zum Forschungsgegenstand geworden ist.
Diese geschilderte Verfahrensweise ist keines
wegs aus der Luft gegriffen. Jeder empirisch ar
beitende Forscher kennt die Genugtuung, die ihn erfüllt, wenn der Output signifikante und
hochkorrelative Beziehungen (und erstere sind von letzteren nicht unabhängig) beschert. Wie
derholt wird von Kollegen berichtet, die Berge von Computerausdmcken nach signifikanten Ergebnissen durchpflügen bzw. durchpflügen las
sen. Schließlich dürfte jenes vielzitierte Compu
terprogramm, das nur noch die signifikanten Ergebnisse ausdruckt, eine Antwort auf die hier skizzierte Verfahrensweise sein. Diese Praxis vergißt zudem, daß auch Nicht-Beziehungen Wirklichkeit adäquat beschreiben können. Mit einem Appell an den Forscher, schön objektiv zu sein, ist hier wenig auszurichten. Eine Kor
rektur und eine effektive Kritik erscheinen nur interindividuell erfolgversprechend.
Artefakte vom Typ B
Bei dieser Sorte von Artefakten liegt der Pfer
defuß im Forschungsprozeß und weniger im Problem selektiver Diffusion. Da hier die indi
viduellen Vorurteile immer bestätigt werden, steht einer Publikation meist nichts im Wege.
Zwei mögliche Varianten sollen kurz skizziert werden:
Variante B\ : Der Forscher sieht sich einem auszubeutenden Survey gegenüber, sei es, daß er eine Diplomarbeit, eine Dissertation, ein Gut
achten oder ein Forschungsprojekt durchführt.
Er hat mehr oder minder diffuse Vorstellungen, was er überprüfen will. Mit diesen Vorstellungen tritt er in die Phase der Datenanalyse ein, z.B.
in die Tabellenanalyse2. Entspricht das Ergeb
nis einer Überkreuzung zweier Variablen nicht den Vorstellungen des Forschers (z.B. keine Signifikanz, geringe Korrelationen), dann gibt es verschiedene Möglichkeiten, die Daten so lange hin- und herzuschaukeln, bis sie den Vor
urteilen entsprechen oder bis man zu Aha-Er
lebnissen kommt. Dies ist dadurch möglich, daß man neue Indikatoren für die unabhängige Va
riable sucht oder so lange Drittfaktoren einführt - d.h. eine oder mehrere Variablen konstant hält — bis man endlich die gewünschte Bezie
hung gefunden hat oder bis man überhaupt eine Korrelation gefunden hat.
2 Die zu diskutierende Problematik ist nicht auf die Ta
belle nanalyse beschränkt, sondern stellt sich auch, wenn man z.B. den Harderschen 14 Punkten (Harder 1975: 52 ff) oder den Anweisungen von Opp und Schmidt (1976: 159 f; vgl. auch 319) folgt.
Variante B2: Variante B2 gleicht der Variante B i, nur daß hier zu Beginn der Analyse konkrete Hypothesen stehen. Im Enttäuschungsfalle, wenn die Hypothese so, wie sie formuliert wurde, nicht zutrifft, wird durch das angeführte Proce
dere (neue Indikatoren, Drittvariablenkontrolle) doch noch erreicht, die eingangs formulierten Hypothesen zu bestätigen.
In beiden Fällen irrt man also so lange durch die Daten - und die Möglichkeiten der Compu
teranalyse erleichtern diese Prozedur - , bis man (a) zu interessanten Ergebnissen kommt — was man auch vornehmer „serendipity pattern“ nen
nen kann - oder bis man (b) seine These bestä
tigt.
Ex post werden dann erst die Thesen formuliert, aber bei der Publikation vorangestellt, so als würde es sich um einen echten Hypothesentest handeln. Da ein Survey mit mehreren Theorien vereinbar ist, lassen sich so empirisch unter
schiedliche Weltbilder bestätigen, nämlich die eingangs erwähnten individuellen Vorurteile. Daß es sich hier aber nicht um eine Prüfung von Theorien handeln kann, resultiert einfach daraus, daß diese „Theorien“ , und das ist in diesem Zu
sammenhang wichtig, keine Chance hatten zu scheitern (cf. Galtung 1967: 333).
3. Überprüfung der These
Nun ist eine derartige Kritik an der empirischen Sozialforschung nicht neu. Schwieriger ist es schon, den Nachweis zu führen, daß dem tat
sächlich so ist. Lassen sich die Vermutungen durch empirische Belege erhärten?
Zuerst soll der Frage nachgegangen werden, ob signifikante Ergebnisse eine größere Publikations
chance haben als nicht signifikante Ergebnisse.
Daß tatsächlich vorwiegend signifikante Ergeb
nisse publiziert werden, ist durch verschiedene Untersuchungen belegt worden (Sterling 1959, Wilson, Smoke und Martin 1973, Galtung 1967).
Folgende Periodika wurden analysiert:
Sterling 1959: 4 psychologische Jg. 1955 Zeitschriften (USA) bzw. Jg. 1956 Galtung 1967: 3 soziologische Jg. 1959
Zeitschriften (2 USA, 1 Brit.)
Wilson u.a. 1973: 3 soziologische Jg. 1969/70 Zeitschr. (USA)
Es wurden jeweils die Artikel mit Signifikanz
tests danach unterschieden, ob signifikante oder nicht signifikante Ergebnisse überwiegen. In allen drei Untersuchungen konnte nachgewiesen wer
den, daß mehr Artikel mit überwiegend signifi- kannten Ergebnissen eröffentlicht wurden. Die Einheit der Analyse sind hier also A rtikel Hq gilt als verworfen, wenn mindestens die Hälfte aller statistischen Nullhypothesen verworfen wor
den sind.
Sterling 97,28% der Artikel verwerfen Hq
(Psychologen) Galtung
(Soziologen) 100,00% der Artikel verwerfen Hq
Wilson u.a.
(Soziolgen) 80,40% der Artikel verwerfen Hq
In den deutschen Periodika3 * überwiegen die be
richteten signifikanten Ergebnisse ebenfalls die nicht signifikanten, ohne allerdings ein derartiges Ungleichgewicht zu zeigen, wie cs Sterling, Gal
tung und Wilson u.a. von den angelsächsischen Periodika berichten. Hierbei ist allerdings zu be
denken, daß deren Zahlen sich auf weiter zurück
liegende Jahre beziehen. Es ist durchaus möglich, daß auch dort in der Zwischenzeit ein Wandel eingetreten ist. Allerdings zeigen auch die älteren Jahrgänge der „Sozialen Welt“ und der „Kölner Zeitschrift“ keine so starken Asymmetrien, wenn auch starke Schwankungen von einem Jahrgang zum anderen (vgl. Tabelle 1; alle Tabellen am Schluß des Beitrags).
Eine Einteilung der Artikel mit Signifikanztests danach, ob die signifikanten Ergebnisse überwie
gen oder die nicht signifikanten Ergebnisse, er
gibt ein deutliches Übergewicht ersterer (vgl Ta-
3 Es wurden drei Zeitschriften analysiert: „Soziale Welt“ (1965 bis 1976), „Kölner Zeitschrift für Sozio
logie und Sozialpsychologie“ (1965 bis 1976), „Zeit
schrift für Soziologie“ (1972 bis 1976). Zwei getrenn
te Verkodungen wurden durchgeführt: Einmal hat der Autor alle angeführten Jahrgänge der drei Zeitschrif
ten analysiert; unabhängig davon wurden die beiden Zeitschriften „Kölner Zeitschrift“ und „Zeitschrift für Soziologie“ von Dieter Fürst und Bernd Litschwager und die „Soziale Welt“ von Maren Klüver verkodet. Be
hoben wurden abweichende Ergebnisse anschließend durch Diskussion. Den Genannten sei für ihre kritische Mitarbeit gedankt. Zu kritischen Anmerkungen von Sei
ten der Autoren und Leser wird herzlich eingeladen.
Die „Daten“ stehen in jeder Institutsbibliothek und sind somit für Sekundäranalysen zugänglich. Eine Dokumentation, aus der die Verkodung ersichtlich ist, kann vom Autor bezogen werden (Sahner 1978).
H. Sahner: Veröffentlichte empirische Sozialforschung: Eine Kumulation von Artefakten? 271 belle 6). Der Anteil liegt (für die drei Zeitschrif
ten gemeinsam) bei 74%. Die Abweichungen der einzelnen Zeitschriften von diesem Durchschnitt ist maximal 6 Prozentpunkte (Zeitschrift für Soziologie). In jedem Fall liegt der Anteil deut
lich unter den Zahlen für die angelsächsischen Zeitschriften.
Eine Auszählung der einzelnen Signifikanz tests (vgl. Tabelle 5) ergibt ebenfalls ein deutliches Übergewicht signifikanter Ergebnisse4. Im Durch
schnitt sind die referierten Tests zu 60% signifi
kant und zu 40% nicht signifikant
Zusammenfassend kann man sagen, daß die Er
gebnisse der Tendenz nach, wenn auch nicht im Ausmaß, mit den für angelsächsische Zeitschrif
ten referierten vergleichbar sind.
Aus diesem Tatbestand, daß nämlich vorwiegend signifikante Beziehungen referiert werden, wäh
rend — so wird geschlossen — nicht signifikan
te in der Schublade bleiben, resultiert der Ver
dacht (vgl. Wilson u.a. 1973, Galtung 1967:
360), daß die Periodika voll von Fehlern des Typs I sind: Hqwird verworfen, obwohl sie rich
tig ist. Oder mit anderen Worten: Aufgrund ei-
4 Ein Vergleich von Tabelle 5 und 6 für die Spalte
„Soziale Welt“ zeigt, daß bei dieser Zeitschrift die Artikel mit überwiegend signifikanten Ergebnissen über dem Durchschnitt und nach Tabelle 6 - in der Signifikanztests die Einheiten der Analyse sind - die signifikanten Ergebnisse unter dem Durchschnitt liegen. Dies ist wie folgt zu erklären: Im Jahrgang 1975 erschienen zwei Artikel, die jeweils Matrizen von Mittelwerten bzw. Korrelationskoeffizienten enthielten. Die signifikanten wurden ausgezeichnet („signifikant“ bzw. „sehr signifikant“). Die Unter
schiede bzw. Korrelationen, die nicht derart ausge
zeichnet worden sind, wurden konsequenterweise als nicht signifikant gezählt. In beiden Artikeln über
wiegen die nicht-signifikanten Ergebnisse. Es ist zu erwarten, daß die Relationen zwischen signifikanten und nicht signifikanten Ergebnissen zukünftig sich verändern werden und zwar dergestalt, daß zuneh
mend mehr nicht-signifikante Ergebnisse ausgezählt werden können. Dies dürfte ein Ergebnis der zuneh
menden Verwendung der EDV sein. Während früher (mein Vorurteil) nur die vermutüch signifikanten Beziehungen errechnet und referiert worden sind, werden heute alle möglichen Tests durchgeführt. Die veränderte Relation könnte ein Indikator dafür sein, daß sich empirisch nicht so viele signifikante Bezie
hungen finden lassen, wie früher durch selektive Be
rechnung berichtet wurden.
ner sozialen Haltung wird eine nicht näher zu umreißende Zahl von Artefakten tradiert5.
Diesen Schluß auf der Grundlage der Relation der signifikanten zu den nicht signifikanten Ergebnissen zu ziehen, ist aber nicht unproble
matisch, und zwar aus folgenden Gründen:
1. Hq dürfte kaum jemals exakt zutreffen. Das heißt, in der Grundgesamtheit wird es zwischen zwei Parametern Unterschiede geben, wenn auch noch so kleine. Desgleichen dürfte Indif
ferenz zwischen zwei Variablen kaum auftreten.
Auch hier werden Abweichungen von der Indif
ferenz die Regel sein.
2. Wenn das zutrifft, dann kann ich immer signi
fikante Ergebnisse erwarten, vorausgesetzt, ich wähle die Fallzahl der Auswahl groß genug. Den Auswahlumfang so zu bestimmen, daß signifikan
te Ergebnisse resultieren, wird freilich jeweils schwierig sein, weil ich ja nicht weiß, wie groß z.B. die Mittelwertunterschiede in der Grundge
samtheit sind. Die ermittelten Unterschiede oder Korrelationen können zwar höchst bedeutungs
los sein (Insignifikanz signifikanter Ergebnisse), die Überlegungen zeigen aber, daß die empirisch gefundene Relation zugunsten signifikanter Er
gebnisse nicht zwingend nachweist, daß signifi
kante Ergebnisse eine größere Publikationschan
ce haben bzw. nicht signifikante Ergebnisse un
terdrückt werden.
Die empirisch auffindbaren Asymmetrien zwi
schen signifikanten und nicht signifikanten Er
gebnissen und die Primärerfahrung empirisch arbeitender Forscher mögen zwar den Verdacht nahe legen, daß Befunden die skizzierte geteil
te Aufmerksamkeit zuteil wird, doch reichen diese Zahlen m.E. nicht zur überzeugenden Stützung meiner These aus, daß „empirische
5 In psychologischen Zeitschriften, in denen diese Problematik diskutiert wird, wird dieser Tatbestand der Bevorzugung signifikanter Ergebnisse mit der Herausgeberpolitik erklärt. Man erwarte nämüch, daß etwas Gescheites, nämlich Signifikantes bei einer Untersuchung herauszukommen habe. Ich kann mir kaum vorstellen, daß dem so ist. Vor allen Din
gen kann ich mir nicht vorstellen, daß ein Heraus
geber oder ein Herausgebergremium einen Artikel ab
lehnt, weil sich die Beziehung zweier Variablen oder zweier Mittelwerte nicht als signifikant erwiesen hat.
Viel eher (mein Vorurteil) spielen hier individuelle Fak
toren eine Rolle.
Sozialforschung ein Instrument zur Bestätigung individueller Vorurteile des Forschers“ ist.
Folgende Vorgehensweise scheint mir eher ge
eignet, diese These zu prüfen: Wenn tatsächlich ernsthaft Hypothesen stetigen Prüfungsversuchen ausgesetzt werden, dann müssen sie ja nicht nur die Chance haben zu scheitern, sondern tatsäch
lich zuweilen scheitern. Scheitern können Hypo
thesen nur, wenn sie ex ante formuliert worden sind und wenn angegeben wird, unter welchen Bedingungen sie als gescheitert zu betrachten sind. Wenn keine Vor-Informationen vorliegen — eine freilich nicht ganz realistische Annahme dann beträgt die Wahrscheinlichkeit 0,5, daß zwei Variablen miteinander z.B. positiv variieren oder daß Xi größer als X2 ist.
Wenn tatsächlich empirische Sozialforschung oder „normale“ Wissenschaft sich an den metho
dologischen Standards orientierte und nicht ein Verfahren gepflegt würde, wie es oben unter (B) skizziert worden ist, dann müßte die Anzahl der gescheiterten Theorien (Hypothesen) in der Nähe dieses Anteils liegen.
Um diese These (ex-ante-These!) zu überprüfen, wurden die drei wichtigsten deutschen soziologi
schen Periodika analysiert, nämlich die „Köl
ner Zeitschrift“ (Jg. 1965 bis Jg. 1976), die
„Soziale Welt“ (Jg. 1965 bis Jg. 1976) und die
„Zeitschrift für Soziologie“ (Jg. 1972 bis Jg.
1976). Ausgezählt wurden die Hypothesen, die folgenden Kriterien genügten: (1) Ex-ante- Formulierung; d.h., es mußte der Eindruck er
weckt worden sein, hier seien Hypothesen vor der Konfrontation mit den Daten formuliert worden. (2) Die Hypothesen mußten „gerich
tet“ sein, d.h. es mußte angegeben sein, ob eine positive oder negative Korrelation erwartet wur
de; bei einem Mittelwertvergleich mußte vorher bestimmt worden sein, ob Xi oder X2 größer ist. Es wurde dann ausgezählt, wieviele dieser Hypothesen bestätigt und wieviele durch die Untersuchung widerlegt worden sind. Hierbei sind alle empirischen Untersuchungen einbezo
gen worden, unabhängig davon, ob Testverfahren verwendet worden sind oder nicht.
Die Ergebnisse sind in Tabelle 3 dargestellt. Es ergibt sich eine hohe Bestätigungsquote von 75%6 6 Bei restriktiver Auslegung der Daten. „Modifizierte“
Hypothesen wurden der Kategorie „W“ zugeordnet.
und damit eine geringe Widerlegungsquote von 25%, in der schon die lediglich modifzierten The
sen enthalten sind. Das heißt, empirische Sozial
forschung bestätigt mit hoher Wahrscheinlichkeit noch einmal das, was man ohnehin vermutet.
Der Verdacht ist nicht so ohne weiteres von der Hand zu weisen, daß sie affirmativen Charakter für die eigenen Vorurteile hat. Wie dieser Prozeß individuell abläuft, ist oben versuchsweise ange
deutet worden. Jeder Forscher geht mit für ihn plausiblen Vorstellungen oder Erklärungsansätzen durch die Welt. Stimmt diese Vorstellung mit den Daten überein, frohlockt er: Publikation. Im Enttäuschungsfalle, wenn Vorstellungen und Da
ten auseinanderfallen, wird er diese unangeneh
me Situation abzustellen suchen. (Diese Haltung kann man natürlich zum Gegenstand theoreti
scher Bemühungen machen: Theorie der kogniti
ven Dissonanz). Mehrere Möglichkeiten stehen zur Auswahl: (a) Verdrängen; man hat für die Schublade gearbeitet (Typ A); oder (b): Kogni
tive Konsonanz wird durch Auswechseln der In
dikatoren, Einführung von Drittfaktoren etc.
wiederhergestellt (Typ B). Oder - und das wäre eine andere Erklärung nach Typ B — hier han
delt es sich um Aha-Erlebnisse, die sich bei der Niederschrift in Ex-ante-Hypothesen verwandel
ten.
Die Ergebnisse legen den Schluß nahe: Gegen
über gegenteiliger empirischer Evidenz ist man immun.
4. Mögliche kritische Anmerkungen
Es sollen kurz einige mögliche kritische Einwän
de diskutiert werden. Da heißt es einmal, die Annahme, daß die Wahrscheinlichkeit für die Be
stätigung bzw. Ablehnung einer Hypothese bei 0,5 liege, sei wenig realistisch. Dies könne z.B.
nur dann gegeben sein, wenn kein Vorwissen exi
stiere. Dagegen könnte man folgenden Einwand erheben: Selbst wenn wir einen guten Fundus an bestätigten Theorien hätten, was immer wie
der bestritten wird, dann kann doch die Konse
quenz auch hier nur sein, Theorien harten Tests auszusetzen, was eine höhere Widerlegungsquote als die beobachtete zur Folge haben würde. Oder es läge nahe, andere, noch nicht so gut abgesi
cherte Theorien zu überprüfen und nicht Theo
rien, bei denen man von vorneherein schon weiß, was herauskommt (Motto: Wenn der Vater ein Graf ist, dann ist auch der Sohn ein Graf). Viele
H. Sahnen Veröffentlichte empirische Sozialforschung: Eine Kumulation von Artefakten? 273 empirische Arbeiten, die mit einer Schichtvaria
blen arbeiten, haben diesen Charakter. Und noch etwas: Wann bestätigt man denn eine Theorie?
Doch nicht dann, wenn eine schwache Beziehung in der prognostizierten Richtung vorliegt. Das kann man zwar zuweilen beobachten, es ist aber nicht die Regel. Also müßte man sogar von einer geringeren Wahrscheinlichkeit als 0,5 für die Be
stätigung von Thesen ausgehen.
Die vorliegende Kritik soll nicht den Eindruck erwecken, als sei etwas gegen eine Verfahrens
weise gesagt, die zuweilen euphorisch mit dem Etikett ,,Laßt die Daten sprechen!“ belegt wird, also dagegen, daß sich die Theoriebildung und die Datenanalyse wechselseitig beeinflussen. Ein solches Procedere hat durchaus heuristischen Wert, doch kann man es nicht als Theorientest bezeichnen, weil das, was schließlich heraus
kommt, keine Chance hatte, widerlegt zu wer
den. Leider — siehe die einleitenden Bemerkun
gen — besteht jedoch der Verdacht, daß das Endprodukt einer solch dialektischen4 Vorge
hensweise als Ausgangspunkt genommen und so dargestellt wird, als handele es sich um eine ex ante formulierte These, die dann mit den Daten konfrontiert worden sei. Dagegen richtet sich diese Kritik.
5. Sekundäranalyse als Möglichkeit zur Reali
sierung metatheoretischer Postulate und damit zur Reduzierung möglicher Artefaktbildung.
Ich behaupte nun nicht, daß die Ergebnisse der empirischen Sozialforschung lediglich aus Arte
fakten bestehen oder Manifestationen individuel
ler Vorurteile sind. Ich bin auch nicht der An
sicht, daß sich hier wieder einmal die Nutzlo
sigkeit einer empirisch orientierten Soziologie zeigt. Ich glaube aber, daß die hier aufgeführten empirischen Befunde Gefahren aufzeigen, die aus einer allzu individualistisch orientierten Ver
fahrensweise resultieren. Daraus ergibt sich auch schon eine mögliche Strategie, die Gefahren zu bekämpfen.
Ich habe eingangs darauf verwiesen, daß die Gül
tigkeit eines Basissatzes und damit die Gültig
keit einer Theorie nicht empirisch begründet wer
den kann. Zwar müssen nach verbreitetem Ver
ständnis die Theorien empirischen Gehalt haben und an der Erfahrung scheitern können, doch die Entscheidung, ob tatsächlich einem Basissatz
(vorläufige) Gültigkeit zukommen soll, bleibt sozialer Natur. Indikator für die Gültigkeit ei
nes Basissatzes (einer Theorie) ist danach das Maß der bei einer Entscheidung über Theorien eingebrachten sozialen Kritik, oder besser: das Ausmaß des Konsensus einer idealen Wissen
schaftlergemeinschaft (scientific community).
Für die Arbeit dieser idealen Wissenschaftlerge
meinschaft, die eine effektive Kritik sicher stel
len soll, müssen (zumindest) zwei wichtige Vor
aussetzungen erfüllt sein: (a) Intersubjektive Zu
gänglichkeit des jeweils erfaßten Sachverhaltes und (b) eine möglichst heterogene Zusammen
setzung der am Diskurs Beteiligten, weil bei ei
ner Homogenität der Weltanschauungen das Kri
tikpotential gering ist.
Ich bin nun der Ansicht, daß das Instrument der Sekundäranalyse eine gute Voraussetzung für die annähernde Realisierung dieser beiden Postulate liefert.
Durch Sekundäranalyse kann der Kreis der am Diskurs Beteiligten beliebig erweitert werden.
Der Sachverhalt wird dem Sekundäranalytiker gleichermaßen wie dem Primäranalytiker zugäng
lich. Intersubjektivität ist also gewährleistet. Die Vorteile seien stichwortartig hervorgehoben:
1. Durch Replikationen können die stets zu er
wartenden individuellen Verzerrungen kontrol
liert werden. Bekanntlich gibt es keine Autono
mie der Tatsachen.
2. Sozialwissenschaftler, die sich für Replikatio
nen zu schade sind, können das von ihren Stu
denten besorgen lassen. Sekundäranalysesemina
re eignen sich vorzüglich zur Ausbildung in den Methoden der empirischen Sozialforschung.
3. Metatheoretischer Aspekt: Wie die Praxis zeigt, eignet sich Sekundäranalyse auch zur Überprüfung von Instrumententheorien. So wur
de durch Sekundäranalysen von Untersuchun
gen über die Machtverhältnisse in Gemeinden nachgewiesen, daß die Aussagen über die Macht
verteilung in den Gemeinden instrumentenspezi- fisch variieren (vgl. z.B. Drewe 1967, Sahner 1975: 31 ff; siehe zu dieser These kritisch: Nel
son 1974, Seiler 1975).
Un überhaupt Sekundäranalysen mit dieser Ziel
setzung durchführen zu können, müssen aller
dings einige Voraussetzungen und Forderungen erfüllt sein.
1. Die Ergebnisse müssen reproduzierbar sein.
Das dürfte heute nur für einen geringen Teil der Publikationen möglich sein, weil die Daten nicht mehr existieren oder nicht mehr zugänglich sind, weil wichtige Informationen fehlen (Codepläne, Variablenbildung etc.).
2. Die Daten müssen für Sekundäranalysen zur Verfügung gestellt werden. Auch das dürfte heu
te nur ausnahmsweise möglich sein, weil irgend
welche Auftraggeber oder Erhebungungsinstitute aus den unterschiedlichsten Gründen nicht an Replikationen interessiert sind. Zumindest die mit öffentlichen Geldern geförderten Untersu-,
Literatur:
Adorno, Th. W., Frenkel-Brunswick, E, Levinson, D.J., und Sanford, R.N., 1950: The Authoritarian Person
ality. New York.
Böltken, F., 1976: Auswahlverfahren. Stuttgart: Teubner Drewe, P., 1967: Techniken zur Identifizierung lokaler
Eliten. Kölner Zeitschrift für Soziologie und Sozial
psychologie 19, 7 2 1 -7 3 5 .
Esser, H., 1975: Soziale Regelmäßigkeiten des Befrag- tenverhaltens. Meisenheim: Hain.
Feyerabend, P., 1976: Wider den Methodenzwang. Skizze einer anarchistischen Erkenntnistheorie. Frankfurt/
Main: Suhrkamp.
Galtung, J., 1967: Theory and Methods of Social Re
search. Oslo: Universitätsforläget.
Habermas, J., Friedeburg, L. von, Oehler, Ch., und Weltz, F., 1961: Student und Politik. Neuwied und Berün: Luchterhand.
Harder, Th., 1975: Daten und Theorie. München:Fink.
Kuhn, Th. S., 1973: Die Struktur wissenschaftlicher Revolutionen. Frankfurt: Suhrkamp.
Lazarsfeld, P.F., 1965: Wissenschaftslogik und empiri
sche Sozialforschung. In: Logik der Sozialwissen
schaften, hrsg. v. Ernst Topitsch. Köln: Kiepenheuer und Witsch, 3 7 -4 9 .
Nelson, M.D., 1974: The Validity of Secondary Analy
sis of Community Power Studies. Social Forces 52, 5 3 1 -5 3 7 .
Opp, K.-D., und Heydt, F.D., 1968: Zur Integration von Theorie und Forschung in der Soziologie des abweichenden Verhaltens. Eine Integrationsstrategie und ihre Anwendung.auf die Anomietheorie. Mens en Maatschappij 43, 7 2 -9 9 .
Opp, K.-D., und Hummell, H.-J., 1969: On the Re
lations between Theory and Research in Sociology.
A Critique of Empirical Studies in Sociology, de
monstrated with ,Union Democracy4. Quality and Quantity 3, 2 3 -6 1 .
chungen müßten nach einem bestimmten Zeit
raum zugänglich sein. Die Erfahrung lehrt leider, daß dies nicht immer der Fall ist.
3. Herausgeber von Zeitschriften nehmen nur solche Artikel mit Substanzforschung auf, deren Autoren einen verwendbaren Datensatz für Se
kundäranalysen (zumindest nach einem bestimm
ten Zeitraum) zur Verfügung stellen.
Wenn der Verdach besteht, daß ein Großteil der veröffentlichten Ergebnisse Artefakte sind, dann sollte es eine Lobby verstehen, diese Forderun
gen zu realisieren.
Opp, K.-D., 1972: Verhaltenstheoretische Soziologie.
Reinbek: Rowohlt.
Opp, K.-D., 1974: Abweichendes Verhalten und Ge- sellschaftsstruktur. Darmstadt und Neuwied: Luch
terhand.
Opp, K.-D., und Schmidt, P., 1976: Einführung in die Mehrvariablenanalyse. Grundlagen der Formulierung und Prüfung komplexer sozialwissenschaftlicher Aus
sagen. Reinbek: Rowohlt.
Popper, K.R., 1973: Logik der Forschung. Tübingen:
Mohr.
Sahner, H., 1975: Führungsgruppen und technischer Fortschritt. Meisenheim: Hain.
Sahner, H., 1978: Empirische Sozialforschung: Ein In
strument zur Bestätigung der Vorurteile des For
schers? Eine Analyse veröffentlichter empirischer Sozialforschung. Christian-Albrechts-Universität So
ziologische Arbeitsberichte 4. Kiel
Scheuch, E.K., 1973: Das Interview in der Sozialfor
schung. In: Handbuch der empirischen Sozialfor
schung Bd. 2, hrsg. v. Rene König. Stuttgart: Enke.
Seiler, L.H., 1975: Community Power Structures and Methods’ Artifacts: A Reinterpretation. The So- cialogical Quarterly 16, 2 7 3 -2 7 6 .
Sterling, T.D., 1959: Publications Decisions and their Possible Effects on Inferences Drawn from Tests of Significance - or vice versa. Journal of the American Statistical Association 54, 3 0 -3 4 . Wilson, F.D., Smoke, G.L., and Martin, J.D., 1973:
The Replication Problem in Sociology: A Report and a Suggestion. Sociological Inquiry 43, 141 — 149.
H. Sahner: Veröffentlichte empirische Sozialforschung: Eine Kumulation von Artefakten? 275
TABELLE 1: Anteil einzelner Zeitschriften an den Signifinanz-Texts*
Jahr n
% sig.
KZfSS
n-sig. zus. sig.
SW
n-sig. zus. sig.
ZfS
n-sig. zus. sig.
insgesamt n-sig. zus.
n 79 91 170 4 1 5 _ _ _ 83 92 175
% 46 54 100 80 20 100 47 53 100
1965 % 95 99 97 5 1 3 100 100
% 45 52 - 2 1 - - - 100
n 69 26 95 28 4 31 _ _ _ 97 30 127
% 73 27 100 88 12 100 76 24 100
1966 % 71 87 75 29 13 25 100 100
% 54 21 - 22 3 - - - 100
n 68 102 170 32 43 75 _ _ _ 100 145 245
% 40 60 100 43 57 100 41 59 100
1967 % 68 70 69 32 30 31 100 100
% 28 42 - 13 17 - - - 100
n 20 20 40 11 0 11 _ _ _ 31 20 51
% 50 50 100 100 0 100 61 39 100
1968 % 65 100 78 35 0 22 100 100
% 39 39 - 22 0 - - - 100
n 126 55 181 0 0 0 _ _ _ 126 55 181
% 70 30 100 0 0 0 70 30 100
1969 % 100 100 100 0 0 0 100 100
% 70 30 - 0 0 - - - 100
n 282 73 355 30 19 49 _ _ _ 312 92 404
% 79 21 100 61 39 100 77 23 100
1970 % 90 79 88 10 21 12 100 100
% 70 18 - 7 5 - - - 100
n 134 84 218 - — _ _ _ _ 134 84 218
% 61 39 100 61 39 100
1971 % 100 100 100 100 100
% 61 39 - - - 100
n 216 62 278 9 1 10 1 0 1 226 63 289
% 78 22 100 90 10 100 100 0 100 78 22 100
1972 % 96 98 96 4 2 4 0 0 0 100 100
% 75 22 - 3 0 - 0 0 - - - 100
n 30 1 31 145 28 173 49 16 65 224 45 269
% 97 3 100 84 16 100 75 25 100 83 17 100
1973 % 13 2 12 65 62 64 22 36 24 100 100
% 11 0 - 54 11 - 18 6 - - - 100
n 51 52 103 4 0 4 237 75 312 292 127 419
% 50 50 100 100 0 100 76 24 100 70 30 100
1974 % 18 41 25 1 0 1 81 59 74 100 100
% 12 12 - 1 0 - 57 18 - - - 100
n 93 57 150 197 337 534 53 28 81 343 422 765
% 62 38 100 37 63 100 65 35 100 45 55 100
1975 % 27 13 20 57 80 70 16 7 10 100 100
% 12 7 - 26 44 - 7 4 - - - 100
Fortsetzung TABELLE 1
Jahr n
% sig.
KZfSS
n-sig. zus. sig.
SW
n-sig. zus. sig.
ZfS n-sig. zus.
insgesamt sig. n-sig. zus.
n 41 67 108 347 267 614 204 160 364 592 494 1086
% 38 62 100 57 43 100 56 44 100 55 45 100
1976 % 7 14 10 59 54 57 34 32 33 100 100
% 4 6 - 32 24 - 19 15 - - - 100
insg. n 1209 690 1899 807 700 1507 544 279 823 2560 1669 4229
% 64 36 100 54 46 100 66 34 100 61 39 100
% 47 41 45 32 42 36 21 17 19 100 100
% 28 16 - 19 17 - 13 7 - - - 100
* Es bedeuten (jeweils pro Jahrgang): 1. Zeile: Absolute Häufigkeiten der signifikanten und der nicht-signifikanten Ergebnisse. Die Zeilen zwei bis vier enthalten die relativen Anteile der signifikanten, nicht-signifikanten bzw. der Ergebnisse insgesamt. 2. Zeile: Basis sind die Tests pro Zeitschrift bzw. die Tests insgesamt. 3. Zeile: Basis sind hier die signifikanten Ergebnisse bzw. die nicht-signifikanten Ergebnisse insgesamt. 4. Zeile: Basis ist hier die Anzahl der Tests insgesamt.
TABELLE 2: Anteil einzelner Zeitschriften an den Artikelinhalten *
Jahr n
% T M
KZfSS
S 5 zus. T M
SW
S 3 zus. T M
ZfS
S 3 zus. T
insgesamt
M S 3 zus.
n 21 4 13 3 41 14 0 2 1 17 _ - _ _ _ 35 4 15 4 58
% 51 10 32 7 100 82 0 12 6 100 60 7 26 7 100
1965 % 60 100 87 75 71 40 0 13 25 29 100 100 100 100
% 36 7 23 5 - 24 0 3 2 - - - - - 100
n 19 1 11 3 34 10 0 3 2 15 _ _ _ _ _ 29 1 14 5 49
% 56 3 32 9 100 67 0 20 13 100 59 2 29 10 100
1966 % 66 100 79 60 69 34 0 21 40 31 100 100 100 100
% 39 2 23 6 - 20 0 6 4 - - - - - 100
n 11 2 11 4 28 9 1 2 2 14 _ _ _ _ _ 20 3 13 6 42
% 39 7 39 15 100 65 7 14 14 100 48 7 31 14 100
1967 % 55 67 85 67 67 45 33 15 33 33 100 100 100 100
% 26 5 26 10 - 21 2 5 5 - - - - - 100
n 18 2 6 0 26 13 0 1 1 15 _ _ __ _ _ 31 2 7 1 41
% 69 8 23 0 100 86 0 7 7 100 76 5 17 2 100
1968 % 58 100 86 0 63 42 0 14 100 37 100 100 100 100
% 44 5 15 0 - 32 0 2 2 - - - - - 100
n 34 4 4 6 48 13 2 5 0 20 _ _ _ _ _ 47 6 9 6 68
% 71 8 8 13 100 65 10 25 0 100 69 9 13 9 100
1969 % 72 67 44 100 71 28 33 56 0 29 100 100 100 100
% 50 6 6 9 - 19 3 7 0 - - - - - 100
n 17 7 2 6 32 19 4 2 2 27 _ _ _ _ _ 36 11 4 8 59
% 53 22 6 19 100 71 15 7 7 100 61 19 7 13 100
1970 % 47 64 50 75 54 53 36 50 25 46 100 100 100 100
% 29 12 3 10 - 33 7 3 3 - - - - - 100
n 10 7 7 4 28 10 7 7 4 28
% 36 25 25 14 100 36 25 25 14 100
1971 % 100 100 100 100 100 100 100 100 100
% 36 25 25 14 - - - - - 100
n 27 3 8 2 40 22 4 3 2 31 17 7 5 1 30 66 14 16 5 101
% 67 8 20 5 100 71 13 10 6 100 57 23 17 3 100 65 14 16 5 100
1972 % 41 21 50 40 40 33 29 19 40 30 26 50 31 20 30 100 100 100 100
% 26 3 8 2 - 22 4 3 2 - 17 7 5 1 - - - - - 100
n . 28 2 17 2 49 18 3 2 3 26 14 4 3 4 25 60 9 22 9 100
% 57 4 35 4 100 69 12 7 12 100 56 16 12 16 100 60 9 22 9 100
1973 % 47 22 77 22 49 30 33 9 33 26 23 45 14 45 25 100 100 100 100
% 28 2 17 2 - 18 3 2 3 - 14 4 3 4 - - - - - 100
