3.2 Testverfahren im Rahmen der personalpolitischen
3.2.4 Gütekriterien der formalen Diagnostik
Die in Kapitel 5.1 vorgestellten Wissensformen, das deklarative Wissen und das proze-durale Wissen, werden in diesem Zusammenhang häufig als Grundvoraussetzungen für die erfolgreiche Bearbeitung von Testaufgaben gesehen und sollen mittels der Wissens-tests abgeprüft werden. Die Leistung bestimmt sich danach aus dem deklarativen Wis-sen, dem prozeduralem Wissen und der Motivation (Schüppel, 1996).
Abschließend werden die entscheidenden Beiträge der Leistungstest für die Eignungs-diagnostik zusammengefasst (Fisseni, 2004):
Aufgrund der Standardisierung und der damit einhergehenden Kontrolle über die Durchführung und Anwendung der Tests können subjektive Beurteilungsfehler eingeschränkt werden.
Die Erfüllung der Gütekriterien erlaubt dem Anwender zuverlässigere Aussagen über das zu messende Persönlichkeitsmerkmal machen zu können.
Die Erfassung von Verhaltensausschnitten innerhalb der Tests bietet dem An-wender die Möglichkeit, Rückschlüsse auf das Verhalten außerhalb der Testsi-tuation zu ziehen.
Aufgrund der Normierung können Vergleiche zwischen Individuen und Gruppen gemacht werden.
Die Operationalisierung der Persönlichkeitsmerkmale (bspw. Intelligenz, Wis-sen) kann einen entscheidenden Hinweis auf die Bedeutung der Konstrukte lie-fern. Leistungstests können danach auch operationale Definitionen darstellen.
Leistungstests befähigen den Diagnostiker dazu, ein Persönlichkeitsmerkmal in einen theoretischen Kontext einzubetten.
Im Rahmen der Eignungsdiagnostik können die Leistungstests bspw. dazu die-nen, den Leistungsstand, das Entwicklungspotential, den Trainingsbedarf und den Trainingserfolg zu ermitteln.
Auf der Item- und Skalenebene soll geprüft werden, ob die Test-Items und die aggre-gierten Skalen der Test-Absicht entsprechen. Im Rahmen der Itemanalyse werden u.a.
die Gütekriterien (a) Schwierigkeitsindex, (b) Trennschärfe und (c) Homogenität heran-gezogen (Fisseni, 2004, S. 32f). Die Itemkennwerte kennzeichnen den jeweiligen Test hinsichtlich ihrer Einzelaufgaben, wohingegen die Gesamtstruktur eines Tests anhand der Testgütekriterien (Haupt- und Nebengütekriterien) verifiziert wird. Die folgenden drei Grundvoraussetzungen oder Perspektiven bestimmen sozusagen, „wie angemessen das empirische Relativ im numerischen Relativ [abgebildet wird]“ (Fisseni, 2004, S.46;
Lienert & Raatz, 1998):
Hauptgütekriterien:
1. Validität 2. Reliabilität
3. Objektivität und Standardisierung Nebengütekriterien:
1. Normierung 2. Ökonomie 3. Nützlichkeit 4. Vergleichbarkeit
Eine umfassende Übersicht geben beispielsweise Amelang und Schmidt-Atzert (2006), Bühner (2006), Bundschuh (1999), Häcker, Leutner und Amelang (1988), Lienert und Raatz (1998), Fischer (1974), Fisseni (2004), Wottawa (1980).
Es muss jedoch darauf hingewiesen werden, dass der Katalog einschlägiger Gütekrite-rien nicht verbindlich definiert ist. Bei einer Beurteilung diagnostischer Methoden und Tests muss daher im Einzelfall geprüft und berücksichtigt werden, welche Bedingun-gen, Umstände und Zielsetzungen gegeben sind. Aus diesem Grunde kann es auch zu unterschiedlichen Gewichtungen der Kriterien kommen (Amelang & Schmidt-Atzert, 2006). Einen umfangreichen Überblick über die Anforderungen und Bewertungsmaßs-täbe wurde im Testkuratorium der Föderation deutscher Psychologenverbände 1986), in den „Standards für pädagogisches und psychologisches Testen“ (Häcker, Leutner &
Amelang, 1988) oder auf globaler Ebene in den „Standards of Psychological and Educa-tional Testing“ (1995, American Psychological Association) festgelegt.
Bezogen auf die diagnostische Eignungsfeststellung mittels Leistungstests wurde im Weiteren die DIN Norm 33430 (Berufsverband Deutscher Psychologen, 2002) entwi-ckelt, um einen einheitlichen Rahmen für die Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen zu schaffen.
Anforderungen der DIN 33430 an die berufsbezogene Eignungsdiagnostik
Mit der Konzeption der DIN –Norm 33430 (Berufsverband Deutscher Psychologen, 2002) wird die Sicherung von Qualität und Qualitätsentwicklung für die berufliche Eig-nungsdiagnostik oder Eignungsbeurteilung intendiert. Die Eignungsbeurteilungen sowie die damit zusammenhängenden Qualifikationsanforderungen beziehen sich hierbei auf die Bereiche der Berufswahl, Bewerberselektion, Personalplatzierung und Personalent-wicklung. Vor allem in der Wirtschaft und Verwaltung kommt dem Qualitätsmanage-ment und der Qualitätsentwicklung eine große Bedeutung zu und wird von jenen gefor-dert. Denn insbesondere Dienstleistungen benötigen einen hohen Standard an Kompe-tenz und Sorgfalt. Für die Entwicklung der DIN-Norm waren in diesem Kontext mehre-re Aspekte und Vorüberlegungen maßgebend (Hornke & Winterfeld, 2004, S. 16; Be-rufsverband Deutscher Psychologen, 2002, S. 3):
Die DIN- Norm soll Anbietern von Dienstleistungen (organisationsintern, orga-nisationsextern) als Leitfaden für die Planung, Erstellung und Durchführung von Eignungsbeurteilungen dienen.
Sie soll als Maßstab zur Bewertung externer Angebote herangezogen werden.
Die Betroffenen sollen demnach vor zu einseitigen und wenig fachgerechten Verfahren und Instrumenten bewahrt werden.
Sie beabsichtigt, den Anwender oder Kandidaten vor unsachgemäßer Anwen-dung von Verfahren zu schützen und zielt im Umkehrschluss auf den sachge-rechten Einsatz und die fachgerechte Entwicklung von Verfahren ab.
Die DIN-Norm soll zur Qualitätssicherung und Qualitätsoptimierung beitragen und dem Anwender (psychologischen Diagnostiker, Personalberater, Personal-abteilung, etc.) eine Entscheidungshilfe bei der Berufswahl, Bewerberselektion, Personalplatzierung oder Personalentwicklung geben.
Eine berufliche Eignungsbeurteilung sollte so gestaltet werden, dass ihr Nutzen größer ist als die Kosten.
Mit der DIN-Norm sollen der Stand der Wissenschaft und Technik zusammen-gefasst werden und fachlich fundierte Informationen verbreitet werden.
Vor diesem Hintergrund inkludiert die DIN-Norm 33430 wesentliche Leitsätze und Festlegungen, die sich auf drei grundsätzliche Segmente der diagnostischen Praxis be-ziehen (a.a.O.):
1. Planung von berufsbezogenen Eignungsbeurteilungen.
2. Auswahl, Zusammenstellung, Durchführung, Auswertung von Verfahren und Interpretation der Verfahrensergebnisse.
(Die angegebenen Qualitätskriterien orientieren sich an der oben dargelegten klassischen Testtheorie und den Gütekriterien).
3. Anforderungen an die Qualifikation der an der Eignungsbeurteilung beteiligten Personen.
Die DIN-Norm richtet sich infolgedessen an (Ackerschott, 2004, S. 6):
Unternehmer, die ihre Maßstäbe und Anwendungspraktiken verbessern und op-timieren wollen.
Führungskräfte, die gute Mitarbeiter bekommen, behalten und weiterentwickeln wollen.
Personalverantwortliche, die in ihrer Organisation die besten und nutzenbrin-genden Vorgehensweisen, Instrumente und Prozesse etablieren, die effizientes-ten Berater einsetzen und die gut qualifizierte Mitarbeiter zur größtmöglichen Leistungsfähigkeit entwickeln möchten.
Berater, Betriebsräte, die ihren Personalvertretungsauftrag sachkundig, kompe-tent erfüllen sowie Personalentscheidungen unter Berücksichtigung ökonomi-scher, individueller und sozialer Aspekte treffen möchten.
Die DIN-Norm bildet somit ein fachliches, wissenschaftliches Fundament für die be-rufsbezogene Eignungsdiagnostik, die dazu beitragen soll, die Kompetenzen von (po-tentiellen) Mitarbeitern realistisch darzustellen (Heyse & Kersting, 2004). Schließlich gehört es zu den Kernaufgaben jedes Unternehmens gute Mitarbeiter auszuwählen, ver-borgene Fähigkeiten aufzudecken sowie das Potential des Personals sichtbar zu machen, um eine wirtschaftliche und persönliche Verbesserung aller Betroffenen zu erreichen.
Das übergeordnete Ziel ist demnach die Erstellung eines Leitmodells, mit deren Hilfe die Prognose über die berufliche Bewährung einer Person bzw. die Passung eines
Bewerbers oder Mitarbeiters für eine zukunftsorientierte Stelle gewährleistet werden kann. Die DIN-Norm soll letztendlich einen Beitrag leisten, die Qualitätsstandards im Unternehmen, genauer gesagt, in der Personalarbeit sicherzustellen, um ziel-, kunden- und marktgerecht zu handeln (Hornke & Winterfeld, 2004). Die mit der DIN-Norm be-absichtigte Qualitätssicherung dient also dazu die Transparenz und die Optimierung von Beurteilungsverfahren voran zu treiben. Der Vorteil eines qualitätsgesicherten Eig-nungsurteils ist nicht nur für die Bewerber bzw. Mitarbeiter ersichtlich und von hoher Relevanz, sondern spielt auch für den wirtschaftlichen Erfolg der Organisation eine he-rausragende Rolle. Denn die Fähigkeit den richtigen Bewerber auszuwählen, ist unter dem Gesichtspunkt der Kosten-Nutzen-Rechnung eine Investition in die Wettbewerbs-fähigkeit der Organisation (Kersting, 2004).
3.3 Methodische Konzepte zur Diagnostik von Schlüsselkompetenzen
Die Ermittlung von relevanten, berufsbezogenen Schlüsselqualifikationen kann aus den oben dargestellten theorieorientierten und empirischen Ansätzen, den Klassifikations-modellen und den damit zusammenhängenden Kategorisierungsvorschlägen abgeleitet werden. Insbesondere die praxisorientierten Konzepte von Stangel-Meseke (1994, in Anlehnung an Bunk et al., 1981, 1982, 1991) und Eilles-Mathiessen et al. (2002) liefern Hinweise und ein solides Grundgerüst zur Identifikation der geforderten Schlüsselquali-fikationen. Darauf aufbauend werden durch die aktuellen Forschungsbeiträge aus dem Bereich der Kompetenzmessung weitere Anhaltspunkte für die Erfassung von Schlüs-selkompetenzen gegeben (vgl. Erpenbeck & Rosenstil, 2003, 2007). Eine Übersicht über den derzeitigen Stand der wissenschaftlichen Forschung dokumentieren Erpenbeck und Rosenstil (2003, 2007) und Frey, Jäger und Renold (2005).
Obwohl die Forschung auf diesem Gebiet erhebliche Fortschritte gemacht hat, liegt bis heute noch kein wissenschaftlich fundiertes Standardwerk vor, das eine konkrete, an-wendungsorientierte Zusammenstellung (Empfehlungen oder Anweisungen) über Test-instrumente zur psychologischen Diagnostik von Schlüsselkompetenzen enthält. Das liegt unter anderem darin begründet, dass der Schlüsselqualifikationsbegriff oder Kom-petenzbegriff von Wissenschaftlern und Praktikern unpräzise definiert bzw. uneinheit-lich verwendet wird, (Gnahs, 2007; Erpenbeck & Rosenstil, 2003, 2007; Lang v. Wins, 2003) und sich die diagnostische Erfassung von Schlüsselkompetenzen auf zum Teil
„wenig abgesicherte und empirische Instrumente und Ergebnisse“ stützt (Frey & Balzer, 2005, S. 31). Es herrscht jedoch Einigkeit darüber, dass kognitive Fähigkeiten (Intelli-genz) und Wissen in nahezu allen Ansätzen als entscheidende Schlüsselkompetenzen hervorgehoben werden und als übergeordnete Dimensionen interpretiert werden kön-nen. Lang von Wins (2003) macht zugleich deutlich, dass die Konstrukte „als Voraus-setzungen für die Herausbildung von [vielen] spezifischen Kompetenzen [aufgefasst werden können]“ (S. 589). Dementsprechend werden psychometrische Testverfahren, wie Intelligenz- und Wissenstests zur Erfassung dieser Merkmale bevorzugt eingesetzt und deren Bedeutung für die berufsbezogene Eignungsdiagnostik betont (Schuler &
Höft, 2006; Schuler, 2000). Neben der Erfassung einzelner Komponenten erlangen je-doch vor allem multimodale Verfahren bzw. systematische Kombinationen verschiede-ner diagnostischer Methoden an Bedeutung (Hossiep & Paschen,1998; Schuler, 2000;
Sarges & Wottawa, 2001). Diesbezüglich stellte Hossiep (1995, 1996) in seinen For-schungen heraus, dass gerade eignungsdiagnostische Testbatterien, die unterschiedliche Einzelverfahren aus dem Bereich der Persönlichkeit, der Intelligenz und weiteren Leis-tungsbereichen inkludieren, ein realistisches Profil einer Person geben und den berufli-chen und privaten Erfolg am besten prognostizieren können. Die Kombination der Ein-zeltests muss dabei so gewählt werden, dass es den Anforderungen der zu besetzenden Stelle bzw. dem jeweiligen praktischem Bedürfnis gerecht wird. Prinzipiell lassen sich zwei Arten von Testbatterien unterscheiden, wobei dem zweiten Verfahren hinsichtlich der zu entwickelnden START- Testbatterie für Berufseinsteiger (Liepmann, in Vorbe-reitung) eine höhere Bedeutung zukommt:
1. Homogene Testbatterien
(Diese Form ist dadurch gekennzeichnet, dass sie einen einzigen Aspekt der Per-sönlichkeit erfassen sollen. Die Einzeltests sollten dabei untereinander sowie mit dem Validitätskriterium hoch korrelieren.)
2. Heterogene Testbatterien
(Das Charakteristikum dieser Methode besteht darin, dass jeder Einzeltest ein anderes Merkmal der Persönlichkeit erfasst. Die Einzeltests korrelieren demnach untereinander niedrig, aber mit dem Kriterium hoch. Der Anwendungsbereich liegt vor allem in der beruflichen Eignungsvorhersage.)
Der Vorteil von Testbatterien liegt darin begründet, ein Profil zu erstellen, welches dif-ferenzierte Aussagen über die Persönlichkeitsmerkmale (hier z.B. Intelligenz- und Wis-senstrukturen) eines Individuums erlaubt. Die Profildarstellung mittels der differentiel-len Eignungstests ermöglicht außerdem eine Vergleichbarkeit der Merkmalsbereiche, sofern für die Einzelresultate entsprechende Norm- und Standardwerte sowie Prozent-ränge angegeben werden. Im Rahmen der psychologischen Diagnostik gelten Testbatte-rien aufgrund ihrer vielseitigen Anwendungsmöglichkeiten außerdem als adäquates In-strument, um dem neuzeitlichen, wirtschaftlichen und gesellschaftlichen Wandel und der damit zusammenhängenden Dynamik der beruflichen Anforderungen gerecht zu werden. Darüber hinaus konstatieren Lienert und Raatz (1998), dass Testbatterien ge-genüber Elementartests eine wesentlich höhere Validität aufweisen. Wohingegen Ein-zeltests nur in Ausnahmefällen einen Validitätskoeffizienten von 0.6 übersteigen, kön-nen Testbatterien Korrelatiokön-nen mit einem Außenkriterium bis zu 0.8 und mehr errei-chen. Zusammenfassend stellen die Autoren folgendes fest: „Wo komplexe Persönlich-keitsmerkmale wie Berufseignung untersucht werden sollen, wird eine Testbatterie im allgemeinen mehr und besseres leisten als ein Elementartest“ (S. 338).
Im Weiteren können verschiedene (psychologische) Verfahren zur Diagnostik von Schlüsselkompetenzen herangezogen werden, die in Anlehnung an Schuler und Höft (2006) dem biografischen, Simulations- und Eigenschaftsansatz zugeordnet werden können. Daher werden nachfolgend ausgewählte Verfahren der beruflichen Eignungs-beurteilung überblicksartig dargestellt (eine umfassendere Auswahl mit detaillierten Informationen geben z.B. Eilles-Mathiessen et al., 2002; Lang v. Wins, 2003; Schuler, 2000, 2006a; Brähler, Holling, Leutner & Petermann, 2002). Die Eignung der jeweili-gen Verfahren variiert jedoch je nach dem zu überprüfenden Anforderungstyp.
Bezogen auf den biografischen Ansatz (Schuler & Höft, 2006), wird naheliegenderwei-se der biografische Fragebogen oder die Auswertung von Bewerbungsunterlagen (An-schreiben, Lebenslauf, Zeugnisse, Spezialkenntnisse, etc.) angeführt. Sie liefern wichti-ge Hinweise über erforderliche Qualifikationen sowie einen Indikator für zukünftiwichti-ges Verhalten und weitergehende Merkmale, wie z.B. Führungsverhalten, Motivation, Fle-xibilität. Die Analyse kann auch in Form eines Interviews stattfinden. Es wird ange-merkt, dass insbesondere das Auswahlgespräch mit zu den verbreitetsten Verfahren gehört (Schuler, Frier & Kaufmann, 1993). Ein Prototyp der simulationsorientierten Prognosekonzepte ist die Arbeitsprobe, die erfolgsrelevantes berufliches Verhalten am Arbeitsplatz aufdecken soll. Alternative situative Verfahren umfassen beispielsweise
Präsentationsaufgaben, Gruppendiskussionen, computergestützte Simulationsverfahren (z.B. Schuler, 2000; Kreuzig & Enzenberger, 2000) oder Breitbandverfahren (z.B. Hog-refe TestSystem, 2001; Etzel & Küppers, 2000). Die Eigenheit dieser Verfahren besteht darin, dass sie verhaltensnahe und praxisorientierte Anhaltspunkte über die Qualifikati-on der Bewerber geben. Im Rahmen des Eigenschaftsansatzes gelten psychologische Tests als typisches Erhebungsinstrument. Anhand von Tests sollen primär Persönlich-keitsmerkmale bzw. Eigenschaften erfasst werden, die einen relativ stabilen Charakter haben. Hierzu zählen hauptsächlich Persönlichkeits-, Interessen- und Leistungstests (Schuler & Höft, 2006). Eine Möglichkeit zur Integration der verschiedenen Verfahren bietet das Assessment Center. Es bezeichnet eine multiple Verfahrenstechnik, bei der unterschiedliche eignungsdiagnostische Instrumente und leistungsrelevante Aufgaben kombiniert werden, um den zukünftigen Berufserfolg möglichst gut vorhersagen zu können. Gleichzeitig wird die Methode auch als Beurteilungs- und Förderinstrument angewendet (vgl. Schuler, 2000; Fisseni & Fennekels, 1995).
Resümierend lässt sich festhalten, dass alle Verfahren einen wertvollen Beitrag zur pra-xisbezogenen Diagnostik von Schlüsselkompetenzen leisten. Im Besonderen können jedoch die psychologischen Tests hervorgehoben werden, da sie hinsichtlich der DIN-Norm 33430 überaus ökonomische, effiziente, objektive, vergleichsweise preiswerte und wissenschaftlich fundierte Verfahren darstellen.