6 Reliabilität und Validität
6.2 Konfirmatorische Faktorenanalysen
6.2.5 Kurzzusammenfassung der Ergebnisse der konfirmatorischen Faktorenanalysen
Tab. 6.9 zeigt eine Übersicht über die Ergebnisse der konfirmatorischen Faktoren-analysen. Die Ergebnisse sind mit den Zeichen „-“(nicht gut), „+“, „++“ bis „+++“ (sehr gut) bewertet worden.39
Zusammenfassend lässt sich festhalten, dass alle Messmodelle gut sind und sich zu weiteren Analysen in den Strukturgleichungsmodellen eignen. Insgesamt erscheint das Konstrukt 2 „Physische Arbeitsbedingungen“ als das Beste, gefolgt vom Kon-strukt 3 „Psychovegetative Beschwerden“. Es lassen sich zwar manche Unterschiede zwischen den drei Erhebungsmodi bezüglich der Höhe der Faktorladungen, der Reli-abilitätsanalysen und der Ergebnisse zur Modellgüte ausmachen, die Mehrgrup-penanalysen haben allerdings durchweg einen (mehr oder weniger deutlichen) Hin-weis auf Messäquivalenz gegeben.
Tab. 6.9 Übersicht über die Ergebnisse der konfirmatorischen Faktorenanalysen
Konstrukt
Mehrgruppen-analyse
CATI CAPI CAWI CATI CAPI CAWI CATI CAPI CAWI
1: Psychische Arbeitsbedingungen + + + + ++ ++ +++ + ++ +
2: Physische Arbeitsbedingungen ++ ++ ++ ++ ++ +++ +++ +++ +++ +++
3: Psychovegetative Beschwerden ++ ++ ++ ++ ++ ++ ++ ++ ++ +++
4: Muskel-/Skelettbeschwerden + ++ + + + + + ++ + ++
Faktorladungen Reliabilität Modellgüte
An den Stellen, an denen die Modelle aufgrund des überarbeiteten Erhebungsin-struments Vergleiche zu den Ergebnissen des damaligen Methodenvergleichs zulas-sen, kann festgestellt werden, dass die Konstrukte insgesamt wieder ähnlich gut sind. Auffallend ist jedoch, dass die Ergebnisse der Mehrgruppenanalysen „besser“
ausfallen, d. h. (noch) stärker den Schluss zulassen, dass in den verschiedenen Er-hebungsmodi dasselbe gemessen wurde. Eine mögliche Erklärung hierfür ist, dass für den damaligen Methodenvergleich die Erhebungsinstrumente aufeinander abge-stimmt werden mussten (z. B. durch Zusammenfassen von Skalen), was zu
39 Diese Einteilung ist natürlich aufgrund der verschiedenen herangezogenen Kriterien nicht immer eindeutig vorzunehmen und stellt den Versuch dar, die Ergebnisse möglichst übersichtlich und einheitlich wiederzugeben.
schieden in der Messung geführt haben kann. Darüber hinaus lagen für den Metho-denvergleich damals Datensätze vor, die in einem zeitlichen Abstand von ca. sechs Jahren erhoben wurden, sodass durchaus denkbar ist, dass einige der vermeintli-chen Unterschiede in der Messung auch auf empirische Veränderungen der Wirk-lichkeit zurückzuführen sind.
6.3 Strukturgleichungsmodelle
Zur Überprüfung der Konstruktvalidität wurden mehrere Strukturgleichungsmodelle entwickelt, die mit den Daten der Stichproben gerechnet wurden. Die Strukturglei-chungsmodelle sollen zudem einen Vergleich der Ergebnisse der unterschiedlichen Erhebungsmodi ermöglichen. Ziel dabei soll es sein, zu überprüfen, ob in der Erhe-bung mit unterschiedlichen Modi dasselbe gemessen wurde. Durch den Vergleich der Beziehungen zwischen identischen Konstrukten kann überprüft werden, ob sich die vermuteten Zusammenhänge in den drei Stichproben gleichermaßen zeigen. Ist dies der Fall, kann dies dahingehend interpretiert werden, dass die Konstrukte in den verschiedenen Erhebungsmodi vergleichbar gemessen wurden und damit Unter-schiede in der methodischen Anlage der Erhebungen eher sekundär sind.
Vorgehen bei der Analyse der Strukturgleichungsmodelle
Die Strukturgleichungsmodelle sind so angelegt, dass sie identische Konstrukte für die drei Stichproben definieren und in Beziehung zueinander setzen. Basis der Struk-turgleichungsmodelle sind dabei die in Kapitel 6.2 beschriebenen Konstrukte zu Ar-beitsbedingungen und zur Gesundheitssituation. Für diese Konstrukte wurden Hypo-thesen zu Zusammenhängen formuliert und im Rahmen von Strukturgleichungsmo-dellen überprüft. Soweit aufgrund der Modifizierung des Erhebungsinstruments mög-lich, wurden Hypothesen zu Zusammenhängen von Arbeitsbedingungen und Le-benssituation bzw. Arbeitszufriedenheit, die im Rahmen des Methodenvergleichs mit der BAuA abgestimmt wurden, verwendet.
Kriterien zur Beurteilung der Modellgüte
Die Evaluation von Strukturgleichungsmodellen besteht zum einen aus der Beurtei-lung der Teilstrukturen, zum anderen aus der BeurteiBeurtei-lung des gesamten Kausalmo-dells. Die Beurteilung von Teilstrukturen (also den Konstrukten) wurde in Kapitel 6.2 anhand der Modellgüte sowie der Reliabilitätsprüfungen durchgeführt. Aus diesem Grund wird in diesem Kapitel nur auf die Modell-Fits der gesamten Kausalmodelle eingegangen. Dabei wird wieder auf die in Kapitel 6.1 kurz erläuterten Gütemaße zurückgegriffen. Ein guter Modell-Fit in Kombination mit einem bedeutungsvollen Zu-sammenhang lässt auf eine hohe Übereinstimmung zwischen Konstrukten schließen – was letztendlich auf Konstruktvalidität hindeutet.
Im Folgenden werden die vier Hypothesen, ihre Umsetzung in das jeweilige Modell sowie die Ergebnisse dargestellt.
Hypothese 1:
Je belastender die psychischen Arbeitsbedingungen, desto wahrscheinlicher sind psychovegetative Beschwerden.
Hypothese 2:
Je belastender die physischen Arbeitsbedingungen, desto wahrscheinlicher sind Muskel-/Skelettbeschwerden. Je belastender die psychischen Arbeitsbedingungen, desto wahrscheinlicher sind psychovegetative Beschwerden sowie Muskel-/Skelett-beschwerden.
Hypothese 3:
Je herausfordernder und innovativer die Arbeitsinhalte eingestuft werden, desto hö-her ist die Zufriedenheit mit inhaltlichen Aspekten sowie den Weiterentwicklungsmög-lichkeiten der Tätigkeit.
Hypothese 4:
Betriebliche Umorganisation erhöht das Risiko von Stellenabbau. Stellenabbau er-höht die Wahrscheinlichkeit, dass Arbeitnehmer weniger zufrieden mit dem Vorge-setzten und dem Betriebsklima sind.
Diese vier Hypothesen wurden für die drei Erhebungsmodi in Strukturgleichungsmo-delle umgesetzt und berechnet. Die Ergebnisse sollen dabei auf folgende Fragen Antworten geben:
1. Zusammenhangsnachweis: Lassen sich signifikante Zusammenhänge nachweisen?
2. Zusammenhangsrichtung: Entspricht die Richtung der Zusammenhänge (in den drei Stichproben) den formulierten Hypothesen?
3. Zusammenhangsstärke: Sind die festgestellten Zusammenhänge jeweils bedeutsam und in etwa gleich stark ausgeprägt?
4. Ausreichende Modellgüte: Ist die jeweilige Modellgüte ausreichend gut, um die Ergebnisse als valide einschätzen zu können?
5. Vergleichbare Modellgüte: Ist die Modellgüte der drei Modelle als etwa gleich gut einzuschätzen?
Auch bei der Beurteilung der Strukturgleichungsmodelle kommt es vor, dass nicht alle herangezogenen Maße ein gleichgerichtetes Ergebnis liefern. Dies bedeutet je-doch nicht, dass die Güte des Modells grundsätzlich nicht akzeptabel ist. Vielmehr geben mehrere Indikatoren bzw. Gütekriterien eine breitere Basis zur Beurteilung (vgl. dazu Weiber und Mühlhaus, 2010).
6.3.1 Hypothese 1
Je belastender die psychischen Arbeitsbedingungen, desto wahrscheinlicher sind psychovegetative Beschwerden.
Abb. 6.5 Modelle Hypothese 1
beranf_01 'Arbeiten unter Termin-/Leistungsdruck' gesbesch_14 'Schlafstörungen' beranf_06 'Störungen/Unterbrechungen' gesbesch_15 'Müdigkeit' beranf_09 'Versch. Vorgänge gleichzeitig im Auge behalten' gesbesch_18 'Nervosität'
beranf_12 'Bis an die Grenzen d. Leistungsfähigkeit gehen' gesbesch_19 'Niedergeschlagenheit' beranf_13 'Sehr schnell arbeiten müssen' gesbesch_21 'Körperliche Erschöpfung'
gesbesch_22 'Emotionale Erschöpfung'
Die Signifikanz eines Zusammenhangs zwischen zwei Konstrukten kann analog zur Vorgehensweise bei den Konstrukten anhand der Critical Ratios sowie der P-Werte beurteilt werden.40 Wie in Abb. 6.5 zu sehen ist, besteht – der Hypothese entspre-chend – ein signifikanter Einfluss des Konstrukts „Psychische Arbeitsbedingungen”
auf das Konstrukt „Psychovegetative Beschwerden” in der vermuteten Zusammen-hangsrichtung. Mit Werten von 0,44 bis 0,51 sind die Einflüsse als relativ hoch einzu-stufen. Die „Squared multiple Correlations“ (entsprechend dem R² von Regressions-modellen) liegen zwischen 0,19 und 0,26 – d. h., dass je nach Erhebungsmodus zwi-schen einem Fünftel und einem Viertel der Varianz des Konstrukts „Psychovegetati-ve Beschwerden” durch das Konstrukt „Psychische Arbeitsbedingungen” erklärt wird.
Der Einfluss ist in der CAPI-Erhebung am stärksten, in der CATI-Erhebung am nied-rigsten ausgeprägt – wobei die Unterschiede als gering einzustufen sind. Die Modell-güte ist anhand der in Tab. 5.5 dargestellten Gütemaße durchweg als sehr gut zu betrachten und für alle Erhebungsmodi fast identisch. Diese Analysen lassen somit auf Konstruktvalidität schließen.
Tab. 6.10 Zusammenhangs- und Gütemaße für Hypothese 1
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Psych. Bed. --> Psych.-veg.-Beschw. 0,439 40,84 *** 0,041 0,057 0,949
CATI: Hypothese 1 "Psychovegetative Beschwerden"
Zusammenhangsmaße Gütemaße
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Psych. Bed. --> Psych.-veg.-Beschw. 0,508 16,87 *** 0,040 0,063 0,949
Zusammenhangsmaße Gütemaße
CAPI: Hypothese 1 "Psychovegetative Beschwerden"
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Psych. Bed. --> Psych.-veg.-Beschw. 0,475 17,22 *** 0,041 0,061 0,953
CAWI: Hypothese 1 "Psychovegetative Beschwerden"
Zusammenhangsmaße Gütemaße
Dass die unterschiedlichen Einflussstärken als gering zu betrachten sind, zeigt auch der Mehrgruppenvergleich für Hypothese 1 (Tab. 6.11). Die Ergebnisse deuten auf Messäquivalenz hin, d. h., dass in allen drei Erhebungsmodi dieselben Sachverhalte gemessen werden.
40 Zur Erinnerung: Critical Ratios im Betrag größer als 1,96 lassen auf Signifikanz zum 5 %-Niveau, drei Sterne (***) beim T-Wert lassen auf Signifikanz zum 1 %-Niveau schließen.
Tab. 6.11 Ergebnisse der Mehrgruppenanalyse für Hypothese 1
Modell SRMR RMSEA CFI
Unconstrained 0,0410 0,034 0,949
Measurement weights 0,0415 0,032 0,947 Measurement intercepts 0,0418 0,034 0,931 Structural weights 0,0419 0,034 0,931 Structural intercepts 0,0424 0,034 0,928 Structural residuals 0,0424 0,035 0,926 Measurement residuals 0,0432 0,036 0,908
Mehrgruppenanalyse: Hypothese 1
6.3.2 Hypothese 2
Je belastender die physischen Arbeitsbedingungen, desto wahrscheinlicher sind Muskel-/Skelettbeschwerden. Je belastender die psychischen Arbeitsbedingungen, desto wahrscheinlicher sind psychovegetative Beschwerden sowie (in geringerem Ausmaß) Muskel-/Skelettbeschwerden.
phyab_01 'Arbeiten im Stehen' ges_01 'Kreuzschmerzen'
phyab_03 'Lasten heben und tragen' ges_03a 'Schmerzen in den Armen' phyab_07a 'Geschicklichkeit/schnelle Bewegungen/Kraft erf.' ges_03b 'Schmerzen in den Händen' phyab_07b 'Gebückt/kniend/liegend arbeiten müssen' ges_04 'Schmerzen in der Hüfte'
ges_05 'Schmerzen in den Knien' ges_06 'Schmerzen in den Beinen/Füßen' beranf_01 'Arbeiten unter Termin-/Leistungsdruck' ges_14 'Schlafstörungen' beranf_06 'Störungen/Unterbrechungen' ges_15 'Müdigkeit'
beranf_09 'Versch. Vorgänge gleichzeitig im Auge behalten' ges_18 'Nervosität'
beranf_12 'Bis an die Grenzen d. Leistungsfähigkeit gehen' ges_19 'Niedergeschlagenheit' beranf_13 'Sehr schnell arbeiten müssen' ges_21 'Körperliche Erschöpfung'
ges_22 'Emotionale Erschöpfung'
Abb. 6.6 Modelle Hypothese 2
Auch für Hypothese 2 sind die Ergebnisse für die verschiedenen Stichproben sehr ähnlich. Alle Effekte sind signifikant, in zwei Fällen (Einfluss von „Psychischen Be-dingungen“ auf „Psychovegetative Beschwerden“ sowie Einfluss von „Physischen Bedingungen“ auf „Muskel-/Skelettbeschwerden“) sind sie als hoch einzustufen (Tab. 6.12). Der Einfluss von „Psychischen Bedingungen“ auf „Muskel-/Skelett-beschwerden“ fällt entsprechend der Hypothese deutlich niedriger aus, ist aber den-noch als bedeutsam einzustufen. Die Modellgüte ist insgesamt als akzeptabel einzu-stufen, auch wenn die Werte des CFI knapp unter 0,9 liegen.
Tab. 6.12 Zusammenhangs- und Gütemaße für Hypothese 2
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Psych. Bed. --> Psych.-veg.-Beschw. 0,474 42,07 ***
Psych. Bed. --> Musk./Skelettbeschw. 0,222 21,44 ***
Phys. Bed. --> Musk./Skelettbeschw. 0,470 41,97 ***
CATI: Hypothese 2 "Gesundheit"
Zusammenhangsmaße Gütemaße
0,083 0,057 0,888
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Psych. Bed. --> Psych.-veg.-Beschw. 0,525 17,09 ***
Psych. Bed. --> Musk./Skelettbeschw. 0,206 7,13 ***
Phys. Bed. --> Musk./Skelettbeschw. 0,437 13,26 ***
CAPI: Hypothese 2 "Gesundheit"
Zusammenhangsmaße Gütemaße
0,089 0,059 0,898
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Psych. Bed. --> Psych.-veg.-Beschw. 0,497 17,62 ***
Psych. Bed. --> Musk./Skelettbeschw. 0,246 8,39 ***
Phys. Bed. --> Musk./Skelettbeschw. 0,450 13,98 ***
CAWI: Hypothese 2 "Gesundheit"
Zusammenhangsmaße Gütemaße
0,090 0,059 0,899
Die Werte des CFI sind zwar auch im Mehrgruppenvergleich etwas unter dem gefor-derten Schwellenwert, werden aber mit zunehmender Restringierung nicht wesent-lich niedriger, weshalb der Mehrgruppenvergleich auch für Hypothese 2 für vorlie-gende Messäquivalenz spricht (Tab. 6.13).
Tab. 6.13 Ergebnisse der Mehrgruppenanalyse für Hypothese 2
Modell SRMR RMSEA CFI
Unconstrained 0,0830 0,033 0,890
Measurement weights 0,0834 0,032 0,889 Measurement intercepts 0,0835 0,033 0,877 Structural weights 0,0835 0,033 0,877 Structural intercepts 0,0829 0,033 0,875 Structural residuals 0,0829 0,033 0,874 Measurement residuals 0,0831 0,033 0,863
Mehrgruppenanalyse: Hypothese 2
6.3.3 Hypothese 3
Je herausfordernder und innovativer die Arbeitsinhalte eingestuft werden, desto hö-her ist die Zufriedenheit mit inhaltlichen Aspekten sowie den Weiterentwicklungsmög-lichkeiten der Tätigkeit.41
41 Die Konstrukte „Inhaltliche Arbeitsbedingungen“ und „Zufriedenheit mit Arbeitsinhalten“ wurden nicht in Kapitel 6.2 abgehandelt, da eine zu den anderen Messmodellen analoge Berechnung auf-grund zu weniger Freiheitsgrade nicht möglich ist.
beranf_04 'In neue Aufgaben hineindenken/einarbeiten' zufr_6 'Zufriedenheit mit Art und Inhalt der Tätigkeit' beranf_05 'Verfahren verbessern/Neues ausprobieren' zufr_8 'Zufr. mit Möglichkeiten, Fähigkeiten anzuwenden'
zufr_9 'Zufr. mit Mögl., sich weiterzubilden/hinzuzulernen'
Abb. 6.7 Modelle Hypothese 3
Der Einfluss von den „Inhaltlichen Arbeitsbedingungen“ auf die „Zufriedenheit mit den Arbeitsinhalten“ ist auch für Hypothese 3 in allen Stichproben signifikant (Tab. 6.14).
Die Einflussstärke ist mittelstark – in CAWI etwas höher als in den beiden anderen Erhebungsmodi. Die Modellgüte ist für alle drei Stichproben sehr gut, in CATI ist sie am besten.
Tab. 6.14 Zusammenhangs- und Gütemaße für Hypothese 3
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Inhaltl. Bed. --> Zufriedenheit 0,323 22,66 *** 0,018 0,036 0,994
CATI: Hypothese 3 "Inhaltliche Arbeitszufriedenheit"
Zusammenhangsmaße Gütemaße
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Inhaltl. Bed. --> Zufriedenheit 0,285 6,64 *** 0,040 0,083 0,979
Zusammenhangsmaße Gütemaße
CAPI: Hypothese 3 "Inhaltliche Arbeitszufriedenheit"
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Inhaltl. Bed. --> Zufriedenheit 0,389 9,80 *** 0,023 0,055 0,992
CAWI: Hypothese 3 "Inhaltliche Arbeitszufriedenheit"
Zusammenhangsmaße Gütemaße
Die Ergebnisse der Mehrgruppenanalyse sprechen eindeutig für die Messung eines ähnlichen Sachverhalts bei den Erhebungen in CATI, CAPI und CAWI (Tab. 6.15).
Die Gütemaße verändern sich mit zunehmender Restringierung kaum.
Tab. 6.15 Ergebnisse der Mehrgruppenanalyse für Hypothese 3
Modell SRMR RMSEA CFI
Unconstrained 0,0176 0,025 0,992
Measurement weights 0,0173 0,021 0,992 Measurement intercepts 0,0172 0,031 0,974 Structural weights 0,0174 0,031 0,972 Structural intercepts 0,0170 0,032 0,967 Structural residuals 0,0209 0,036 0,955 Measurement residuals 0,0208 0,036 0,943
Mehrgruppenanalyse: Hypothese 3
6.3.4 Hypothese 4
Betriebliche Umorganisation erhöht das Risiko von Stellenabbau. Stellenabbau er-höht die Wahrscheinlichkeit, dass Arbeitnehmer weniger zufrieden mit dem Vorge-setzten und dem Betriebsklima sind.42
42 Das Konstrukt „Zufriedenheit mit dem Arbeitsverhältnis“ wurde nicht in Kapitel 6.2 abgehandelt, da eine zu den anderen Messmodellen analoge Berechnung aufgrund zu weniger Freiheitsgrade nicht möglich ist.
zufr_4 'Zufriedenheit mit dem Betriebsklima' zufr_5 'Zufriedenheit mit dem direkten Vorgesetzten'
Abb. 6.8 Modelle Hypothese 4
Tab. 6.16 weist für alle Methoden bedeutsame und signifikante Einflüsse aus. Der Hypothese entsprechend hat eine Umorganisation einen „positiven“ Einfluss auf Stel-lenabbau (bei Umorganisation erfolgt häufig StelStel-lenabbau), StelStel-lenabbau hat einen
negativen Einfluss auf die „Zufriedenheit mit dem Arbeitsverhältnis“. Auch hier sind die Einflüsse in CAWI leicht höher als in den beiden anderen Methoden. Hinsichtlich der Gütemaße schneidet CAWI allerdings etwas schlechter ab, für alle drei Stichpro-ben ist die Modellgüte sehr gut.
Tab. 6.16 Zusammenhangs- und Gütemaße für Hypothese 4
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Umorganisation --> Stellenabbau 0,224 30,44 ***
Stellenabbau --> Zufriedenheit -0,226 -24,88 ***
CATI: Hypothese 4 "Umorganisation"
Zusammenhangsmaße Gütemaße
0,029 0,055 0,987
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Umorganisation --> Stellenabbau 0,245 10,76 ***
Stellenabbau --> Zufriedenheit -0,221 -7,91 *** 0,017 0,024 0,998
CAPI: Hypothese 4 "Umorganisation"
Zusammenhangsmaße Gütemaße
Zusammenhang Regression Weights Critical Ratio P-Wert SRMR RMSEA CFI
Umorganisation --> Stellenabbau 0,275 13,03 ***
Stellenabbau --> Zufriedenheit -0,216 -8,46 ***
CAWI: Hypothese 4 "Umorganisation"
Zusammenhangsmaße Gütemaße
0,040 0,081 0,975
Wie schon für die drei besprochenen Hypothesen zeigen sich in Hypothese 4 keine nennenswerten Unterschiede in einer Mehrgruppenanalyse (Tab. 6.17).
Tab. 6.17 Ergebnisse der Mehrgruppenanalyse für Hypothese 4
Modell SRMR RMSEA CFI
Unconstrained 0,0286 0,033 0,986
Measurement weights 0,0286 0,028 0,987 Measurement intercepts 0,0293 0,026 0,983 Structural weights 0,0281 0,025 0,979 Structural intercepts 0,0279 0,032 0,957 Structural residuals 0,0281 0,031 0,947 Measurement residuals 0,0282 0,033 0,932
Mehrgruppenanalyse: Hypothese 4
6.3.5 Kurzzusammenfassung der Ergebnisse der Strukturgleichungsmodelle