Kontextabhängigkeit der Auswahl und Brauch barkeit von Messverfahren zur Diagnose beruflicher Kompetenzen

Alexander Wick

Kontextabhängigkeit der Auswahl und

Brauch barkeit von Messverfahren zur Diagnose beruflicher Kompetenzen

Kompetenzerfassung ist ein weites Feld, dessen Strukturierung zunehmend schwerfällt.

Der Beitrag differenziert Messverfahren hinsichtlich ihres Bezugs zu unterschiedlichen Kompetenzdefinitionen (Kompetenz als Sammelbegriff vs. Kompetenz als organisie- rende psychische Funktion), möglichen Messzwecken (summativen und formativen) und Messgegenständen (Handeln – Ressourcen – Reflexion). Es werden Kontingenzen aufgezeigt, die die Auswahl von Instrumenten für verschiedene Kontexte unterstützen.

Bezogen auf die Qualität von Verfahren und Messinstrumenten wird das pragmatische Kriterium der Verfahrensakzeptanz hervorgehoben. Sie beeinflusst die Auswahl von Messinstrumenten außerordentlich und ist häufig Grund für den Einsatz von Instru- menten geringer Messgüte.

1. Kompetenzdefinitionen und ihre Folgen für Messungen

Bei der großen Beliebtheit und weiten Verbreitung des Kompetenzbegriffs in Wissen- schaft und Praxis liegt es nahe, dass ein einheitliches Begriffsverständnis nur schwer zu erreichen ist (vgl. Klieme/Hartig 2008; Sultana 2009; Vonken 2005). Bisher existieren alltagssprachliche Vorstellungen, die im Begriff „Kompetenz“ lediglich ein beliebiges Synonym für Fähigkeiten, Fertigkeiten, Eignung, Bildung, Qualifikationen usw. sehen, neben holistischen Emergenzvorstellungen, die keine empirische Erkenntnismöglich- keit bieten. Inzwischen befassen sich Theorien und Untersuchungen von Forschern un- terschiedlicher Disziplinen eingehend mit dem Konzept des Begriffs. Kompetenz wird dabei im weitesten Sinne als die Befähigung eines Organismus angesehen, effektiv mit seiner Umwelt zu interagieren (vgl. White 1959, S. 297).

Auch beim Vergleich differenzierter Kompetenzdefinitionen lassen sich einige Gemeinsamkeiten feststellen (vgl. Erpenbeck/von Rosenstiel 2009). Allgemein scheint akzeptiert zu werden, dass Kompetenz in einem sehr engen Verhältnis zum Handeln in abgrenzbaren Situationszusammenhängen steht und eine Grundlage, Disposition oder Neigung zu kontingentem (Nicht-)Handeln ist, die in konkreten Situationen ak- tualisiert wird (vgl. Geissler/Orthey 2002). Die überwiegende Zahl von Begriffsver- wendungen geht ferner davon aus, dass Kompetenzen in ihren Ausprägungen erlernt wurden und sich prinzipiell über die Lebenszeit verändern und entwickeln lassen (vgl.

Dehnbostel 2001, S. 76). Eine gewisse Einmütigkeit besteht auch darin, sich nicht mit der Feststellung einer allgemeinen, allumfassenden Kompetenz zu begnügen, sondern

Be it rä ge

sich auf Domänen menschlicher Aktivität und voneinander abgrenzbare Klassen von Inhalten zu beziehen und entsprechende Differenzierungen vorzunehmen.

Darüber hinaus lassen sich zwei grundlegende Ansätze zur Konzeptionalisierung von Kompetenzen voneinander abgrenzen, die sich in entsprechenden Definitionen niederschlagen oder – bei der häufig vorkommenden Unschärfe oder Widersprüch- lichkeit der Definitionen – aus der schließlich praktisch verfolgten Erfassungslogik folgern lassen.

1.1 Kompetenz als Sammelbegriff

Eine Gruppe konzipiert Kompetenzen als Sammelbegriff für die (Ausprägungen der) Motive, Eigenschaften, Fähigkeiten, Fertigkeiten, Kenntnisse, Selbstkonzepte, Ein- stellungen und Werte, die die Effektivität von Personen im Umgang mit der Umwelt bestimmen (vgl. z.B. Spencer u.a. 1992; Dehnbostel 2001). Je nach Autor bestimmt sich Kompetenz in einer Domäne aus einzelnen oder mehreren dieser Konzepte, wobei zumeist den kognitiven Aspekten eine herausragende Rolle zugesprochen wird (z.B. in Prenzel u.a. 2008). Nach dieser Sichtweise wird die Kompetenz einer Person in einer Domäne (z.B. soziale Interaktion) als Summe der domänenspezifischen Fähigkeiten dieser Person angesehen, wobei Fähigkeiten häufig wiederum als Summe der jeweils zuzuordnenden Fertigkeiten gesehen werden (vgl. Frey 2006). Natürlich sind unzäh- lige solcher Unterteilungen denkbar und werden in der Literatur auch vertreten. Sehr häufig wird in die vier Kernbereiche Fach-, Methoden-, Sozial- und Selbstkompetenz eingeteilt. Die Konzepte, die aus dieser Sicht die Kompetenz letztlich konstituieren, sind bereits etabliert und können auf jahrzehntelange Forschungstraditionen zurück- blicken (vgl. Vonken 2005).

1.2 Kompetenz als organisierende psychische Funktion

Die andere Sichtweise ist, dass Fertigkeiten und Fähigkeiten neben anderen psychophy- sischen Regulationsentitäten wie Motiven, Werten, Eigenschaften und Einstellungen lediglich Grundlagen von Kompetenzen darstellen. Diese Ressourcen werden durch ei- nen organisierenden psychischen Mechanismus oder Prozess zusammengefügt, der die Realisierung zielgerichteter Aktivitäten, sei es durch Handlung oder durch Reflexion, ermöglicht (vgl. z.B. Erpenbeck/von Rosenstiel 2009; Hanft u.a. 2007; OECD 2005).

Auf diese Weise stellt Kompetenz ein genuines, unterscheidbares Konstrukt dar. Worin dieser organisierende Prozess oder Mechanismus besteht, wird zumeist wenig ausgear- beitet. So macht die Kompetenzdefinition der OECD (2005, S. 6) einerseits sehr deut- lich, dass das Vorhandensein von Wissen und kognitiven Fähigkeiten nicht ausreicht, um von Kompetenzen zu sprechen, sondern die Möglichkeit des situationsadäquaten Zugriffs auf solche und andere Ressourcen Kompetenz erst ausmacht. Andererseits wird dieser Mechanismus dann sehr unspezifisch als „Fähigkeit“ bezeichnet.

1.3 Kompetenzmessung als Funktion der Kompetenzdefinition

Gemäß den Definitionen von Kompetenz als Sammelbegriff ist die Messung von Kompetenzen prinzipiell einfach. Es stehen erprobte Verfahrensklassen und ausge- arbeitete Instrumente zur Verfügung, um die einzelnen Konstituenten zu erfassen.

Der Erörterung, ob und wie diese einzelnen Bestandteile zu gewichten sind, wird üblicherweise ausgewichen. Ein Aggregat der erhobenen Werte gilt als Ausprägung der Kompetenz. Die häufig ungelöste Gewichtungsproblematik und die fragwürdige Annahme, dass Potenziale sich bei Bedarf automatisch in entsprechende Aktivitäten umsetzen, lassen den Ansatz zumindest lückenhaft erscheinen.

Nach der Definition von Kompetenz als organisierende psychische Funktion ist ein zusätzlicher Schritt zentral. Zunächst werden wie oben Fertigkeiten, Fähig- keiten und weitere Ressourcen mit belastbaren Verfahren ermittelt. Danach ist eine Messsituation zu kreieren, in der die Ausprägung des psychischen Prozesses oder Mechanismus der interessierenden Kompetenz erfasst werden kann. Das Verfahren muss dabei die verschiedenen psychophysischen Ressourcen miteinander in Verbin- dung bringen (können). Damit wird deutlich, dass aus dieser Sicht einige Verfahren, die landläufig als zur Kompetenzmessung gültig definiert werden, keineswegs Kom- petenzen messen und dies ihrer Konstruktion nach häufig auch nicht vorgeben, so z.B. allgemeine Intelligenz-, Wissens- und Interessentests oder auch Aufgaben zur Überprüfung von Textverständnis und sozialem Perspektivwechsel.

2. Bilanzierender und gestaltender Messzweck: summative und formative Kompetenzerfassung

Kompetenzbestimmungen haben stets dokumentarischen Charakter und lassen sich grob zwei verschiedenen Zwecken zuordnen: einem bilanzierenden oder einem gestaltenden. Wenn Kompetenzen nachgewiesen und bewertet werden sollen, um damit eine Zensur oder Zuordnung vornehmen zu können, z.B. zum Erhalt eines Zertifikats oder bei Potenzialfeststellungsverfahren zur internen und externen Per- sonalauswahl im Arbeitskontext, dient die Kompetenzerfassung einem bilanzieren- den oder summativen Zweck (vgl. Wottawa/Thierau 2003; Björnavold 2001). Wenn Kompetenzen ermittelt werden, um eine entsprechende Selbsteinsicht, Beratung oder Weiterentwicklung anzustoßen, also Teil eines organisierten Prozesses der Kompe- tenzentwicklung sind, ist der Zweck ein gestaltender oder formativer.

Bereits die Erfassung zum Zweck des Zugangs zu institutionellen Angeboten (Zulassungen, Weiterbildungen oder Zertifikaten) ist summativ in dem Sinne, als dieser Zugang im Regelfall verwehrt wird, wenn ein bestimmtes Maß nicht erreicht wird. Gewährt das Verfehlen dieses Maßes den Zugang erst, ist die Zielrichtung formativ.

Be it rä ge 3. Grundlegende Verfahrensklassen der Kompetenzmessung:

Beobachtung – Befragung – Testung

Kompetenzmessung ist die möglichst den Gütekriterien sozialwissenschaftlich fun- dierter diagnostischer Instrumente genügende Erfassung aktueller Kompetenzen und ihrer Ausprägungen (vgl. Bortz/Döring 2006). Messungen bauen auf Grundannahmen über Idee und Beschaffenheit von Kompetenzen auf. Sie erfassen nach der Logik ihrer Instrumente charakteristische Äußerungen der Person, deren Kompetenzen gemessen werden sollen, die in einem Aggregationsprozess zu einer quantifizierten Aussage über die Ausprägungen von Kompetenzen führen. Messungen nähern sich dem untersuch- ten Phänomen so gut wie möglich, indem Daten direkt erhoben werden. Die Mes- sung von Kompetenzen ist von der Anerkennung von Kompetenzen zu unterscheiden (vgl. Hanft u.a. 2008), bei der keine Messdaten erhoben werden. Man nutzt vorhan- dene Nachweise und (vorwiegend) Selbstaussagen, die nicht unter Messbedingungen ermittelt werden. Üblicherweise geht man davon aus, dass Kompetenzen in Teilen oder Indikatoren für weiterführende Maßnahmen hinreichend exakt zu bestimmen sind (vgl. Erpenbeck/von Rosenstiel 2007; Prenzel u.a. 2008). Gelegentlich wird Mess- barkeit sogar als Bestandteil von Kompetenzdefinitionen formuliert (vgl. z.B. Sonntag 2009; Spencer u.a. 1992). Je nach Kompetenzdefinition stehen unterschiedliche Erfas- sungsverfahren zur Auswahl.

Auch der Zweck der Messung beeinflusst die Wahl der Methoden und Instru- mente (vgl. Gillen 2006; Gnahs 2008). Aus Qualitätsgründen und wegen der zu er- wartenden Konsequenzen ist bei formativen Zielen z.T. mit anderen Instrumenten als bei summativen zu agieren. Ein für die individuelle Beratung und Kompetenzentwick- lung auf zukünftige Maßnahmen ausgerichtetes Messverfahren wird anders konzipiert sein als ein Prüfungsverfahren, das einen vorstrukturierten Lernprozess abschließt.

Grundsätzlich lassen sich drei Erfassungsklassen voneinander unterscheiden, die für berufsbezogene Kompetenzdiagnostik zum Einsatz kommen (vgl. Ingenkamp/Liss- mann 2008; Preißer/Völzke 2007):

| Beobachtungsverfahren,

| Befragungsverfahren und

| Testverfahren.

In Beobachtungsverfahren wird die Person in eine Situation gebracht, die so ausgelegt ist, dass die zu bestimmenden Kompetenzen kritisch für ihre erfolgreiche Bewältigung sind. Die Person wird bei ihrem Handeln beobachtet und ihr Verhalten gemäß vor- gegebenen Kriterien eingeschätzt und bewertet. Die Beobachtungsverfahren zeichnen sich durch ihre Situierung aus, d.h. die zu beobachtenden Kompetenzen sind in einer konkreten (Simulations-)Situation zu zeigen. Sie erfordern von der zu beobachtenden Person selbst keine diagnostischen Fertigkeiten und Kenntnisse. Allerdings sind sie re- aktiv, d.h. Beobachtete lassen sich durch die ihnen bekannte Beobachtung oder deren

zu erwartende Konsequenzen in ihrem Handeln beeinflussen. Das gilt in erhöhtem Maß beim summativen Messzweck. Die Beobachter stehen vor der schwierigen Auf- gabe einer angemessenen, belastbaren Beobachtung, Einstufung und Interpretation.

Beobachtungs- und Urteilertrainings sowie der Einsatz mehrerer Beobachter gehören zum Standardrepertoire der Qualitätssicherung. Trotzdem kann es durch Differenzen in der Situationswahrnehmung von Handelndem und Beobachter zu Uneindeutigkei- ten und Fehlinterpretationen kommen (vgl. Novick u.a. 1996). Die Möglichkeit, dass die Beurteilung durch Reaktivität, nicht erkannte Routinen und Zufälligkeiten beein- flusst wird, muss in die Wertung des Handelns aufgenommen werden. Das kann über zusätzliche Verfahren erreicht werden, die hier Klarheit schaffen können.

Beobachtungen im (beruflichen) Handlungskontext sind für Messzwecke nur sel- ten durchführbar. Der zusätzliche Zeit-, Kosten- und Arbeitsaufwand stellt sich für Organisationen als massives Problem dar. So werden möglichst prototypische Hand- lungssituationen für die zu erfassenden Kompetenzen simuliert. Die zur belastbaren Dokumentation und Einschätzung zu verwendenden verhaltensverankerten Einstu- fungsskalierungen gelten bei korrekter Anwendung als hochwertig, sind aber aufwän- dig zu konstruieren (vgl. Schuler u.a. 2003).

In Befragungsverfahren wird die Person zu Aussagen angeregt, die für die betrach- teten Kompetenzen kritisch sind. Fragebogenverfahren und Interviews lassen einerseits das (öffentliche) Selbstkonzept der Befragten ermitteln (vgl. Mummendey 1995), ande- rerseits können die Urteiler auf die individuelle Durchdringung der jeweiligen Kompe- tenzdomäne schließen (vgl. Gillen 2006). Ferner können je nach beruflichem Kontext und Konstruktion Gespräche auch als (simulierte) Arbeitsprobe gelten (vgl. McClel- land 1998), z.B. hinsichtlich der Argumentations- oder Problemlösefähigkeit. Eine si- mulative Situierung ist häufig auch Bestandteil von Fragebögen.

In diesem Kontext wichtige Varianten der Befragung – weniger wegen der Qua- lität der Vorgehensweise als vielmehr durch die Häufigkeit ihres Einsatzes – sind die Selbstreflexions- und Selbstevaluationsverfahren (vgl. Colardyn/Björnavold 2004).

Selbstevaluation erhöht die Authentizität, sensibilisiert für den eigenen Kompetenz- stand sowie eigene Entwicklungsmöglichkeiten und -notwendigkeiten und trägt zur Akzeptanz von Kompetenzerfassungen bei. Kontrollierbare (technische) Qualitätsas- pekte sprechen jedoch gegen sie (vgl. Fietz/Junge 2007) und werden nicht als Messun- gen angesehen.

Bei den Beurteilten sind eine hohe Ausprägung der Selbstbeurteilungsfähigkeit, eine geringe selbstwertbezogene Verzerrung der Selbstwahrnehmung und gewisse Ar- tikulationsfähigkeiten notwendig (vgl. Frey/Balzer 2005; Hartig/Jude 2007). Ferner besteht in summativ ausgelegten Messsituationen latent die Gefahr der bewussten Verzerrung (vgl. Mummendey 1995), d.h. es können Bewertungen artikuliert und Verhaltensweisen beschrieben werden, die nicht viel mit dem im (beruflichen) Alltag gezeigten Handeln zu tun haben müssen. Deshalb sollten Befragungsverfahren nicht als einzige Quelle einer Kompetenzmessung herangezogen werden.

Be it rä ge

An Gesprächsleiter/innen in Interviews werden hohe Anforderungen gestellt, weil sie neben der Durchführung der Interaktion die Antworten der Befragten aufnehmen und zu einer quantifizierbaren Einschätzung oder einem Urteil integrieren müssen (vgl. Wick 2005, S. 66 f.). Interviews sind auch deshalb aufwendig, weil sie keine effizienten Grup- penmessungen zulassen. Fragebogenverfahren lassen sich ökonomisch einsetzen, ent- behren aber naturgemäß der interaktiven Komponente einer mündlichen Befragung.

Befragungsverfahren erfordern einen üblicherweise weit unterschätzten Konstruktions- aufwand.

In Testverfahren werden in strukturierter und standardisierter Form Konstrukte (z.B. Intelligenz, Interessen, Kontrollüberzeugungen) und Wissensbestände abgefragt, die als kompetenzkritisch gelten. Der Antwortspielraum ist dabei zugunsten der psy- chometrischen Güte stark eingeengt. Viele psychische Phänomene sind am besten oder überhaupt reliabel nur mit Testverfahren zu ermitteln (vgl. Bortz/Döring 2006). Die Intention der meisten Instrumente aus dem nicht-klinischen Bereich ist, Konstrukte allgemein und abstrakt zu messen. Weil sie deshalb zumeist keine oder nur eine grobe Situierung aufweisen, erscheinen Testverfahren für viele potenzielle Anwender/in- nen wenig hilfreich bzw. sogar ungeeignet, zur Kompetenzbestimmung beizutragen (vgl. Frey/Balzer 2005). Dies trifft eventuell zu, wenn die zu messenden Merkmale als Teile und nicht als Ressourcen von Kompetenzen angesehen werden. Im Einsatz sind die Verfahren durch die Möglichkeit der Erfassung in Gruppen und standardisierte Auswertungen ökonomisch. Der höchste Aufwand liegt in der Konstruktion geeigne- ter Ins trumente und der methodischen Ausbildung der Anwender/innen.

Sämtliche Instrumente, die zu belastbaren Ergebnissen führen sollen, verlangen eine sorgfältige theoriebasierte und testtheoretisch abgesicherte Entwicklung, Anwen- dung, Auswertung und Validierung. Ad hoc zusammengestellte Instrumente erfüllen die Kriterien wissenschaftlicher Güte auch bei langjähriger Praxis i.d.R. nicht.

4. Messgegenstände und multimodales Vorgehen bei der Kompetenzmessung

Für die Erfassung von Kompetenzen bietet sich nach den genannten Definitionen die Beurteilung von

| individuellem Handeln in prototypischen Situationen,

| individuellen psychophysischen Ressourcen als Grundlagen von Kompetenzen und

| individueller Erarbeitung und Reflexion der Kompetenzdomäne an.

Diesen Messgegenständen lassen sich für den Zweck einer Kompetenzmessung grob die drei Klassen von Messmethoden zuordnen. Das Handeln lässt sich in Arbeits- proben beobachten und erlaubt, hinsichtlich des Kompetenzstandes Hypothesen zu bilden. Dafür kommen zumeist situierte Simulationen in Frage. Kognitive, emotio-

nale und motivationale Ressourcen lassen sich häufig am besten mit Testverfahren ermitteln. Fachwissen lässt sich direkt in Wissensprüfungen, aber auch im Kontext von Handeln und Reflexion ermitteln. Die Reflexion des eigenen Denkens, Wollens und Tuns lässt sich am besten in Befragungen erfassen, je nach Inhalt durch Fragebö- gen, Interviews oder Reflexionssitzungen, die sich auf vergangenes Handeln beziehen.

Menschen sind sich üblicherweise nicht all ihrer Kompetenzen bewusst; diese Sensibi- lisierung müssen insbesondere reflexive Instrumente selbst leisten.

Der Gesamtprozess der Messung sollte der Komplexität der zu erfassenden Kom- petenz gerecht werden, die zu bewältigende Aufgabe widerspiegeln und individuell und kontextuell Spezifisches erfassen können (vgl. Björnavold 2001; Kaufhold 2006).

Bereits die knappe Skizzierung der drei Verfahrensklassen hat gezeigt, dass keine von ihnen das allein ermöglicht. Folglich ist zu fragen, ob diese Verfahrensklassen ausrei- chen und inwiefern die Entwicklung und Kombination der vorhandenen Methoden zu befriedigenden Ergebnissen führen kann. Vertreter der Sammeldefinition sind mit den aktuellen Verfahrensklassen im Wesentlichen zufrieden. Die der Organisations- definition stehen vor der Aufgabe, ihren Begriff von Kompetenz zunächst besser zu bestimmen und darauf aufbauend entsprechende Instrumente zu entwickeln. Sie müs- sen dabei häufig auf Methoden zurückgreifen, die nicht als Messverfahren i.e.S. gelten können oder deren Entwicklung aus anderen Intentionen erfolgt bzw. aus nicht-beruf- lichen Zusammenhängen (v.a. formales Schulwesen) stammt (vgl. Björnavold 2001).

Hinsichtlich des erreichten Standes der berufsbezogenen Kompetenzdiagnos- tik (vgl. Erpenbeck/von Rosenstiel 2007; Prenzel u.a. 2008) sind auf absehbare Zeit keine in der praktischen Anwendung breit verankerten neuartigen Verfahrenstypen zu erwarten. Die vorhandenen methodologisch weiterzuentwickeln, ist zumindest vom pragmatischen Standpunkt aus die angemessene Strategie (vgl. Björnavold 2001).

So sind durch die Entwicklung computergestützter Messmöglichkeiten Verbesse- rungen der Messgüte möglich geworden, z.B. indem sie adaptives Testen (CAT: Frey 2007; Linden/Glass 2000) auf der Basis probabilistischer Testtheorie (IRT: Lord 1980) erheblich erleichtern und automatische Auswertungen die Objektivität der Verfah- ren wesentlich erhöhen können. Hierbei können, gestützt auf eine sehr umfangreiche Konstruktion, individuell angepasste Messungen ökonomisch und trennscharf durch- geführt werden. In vielen Kontexten sind rechnergestützte Gruppen- oder Massenprü- fungen möglich, die sowohl organisatorisch als auch vom Aufwand her handhabbar sind. Allerdings bezieht sich das computergestützte Testen nicht auf alle Messver- fahrensklassen. Es deckt insbesondere psychometrische Tests, biographische Bögen, Fallbearbeitungen und komplexe Szenarien ab (vgl. BMBF 2007). Aktuell vorange- triebene Entwicklungen psychometrischer Modellierungen (Diagnostic Classification Models: Rupp/Templin 2008) könnten möglicherweise in Zukunft Relevanz für die Praxis beruflicher Kompetenzdiagnostik erlangen.

Im Sinne zeitgemäßer diagnostischer Ansätze (vgl. Bortz/Döring 2006) lässt sich fest- stellen, dass grundsätzlich bei der Erfassung komplexer Merkmale oder Konstrukte

Be it rä ge

unter Berücksichtigung der jeweiligen Stärken und Schwächen sowie Einsatzberei- che der Verfahren ein multimodales Vorgehen anzustreben ist. Die Erfassungsformen Beobachtung, Befragung und Testung können je nach Messgegenständen Handeln, Ressourcen und Reflexion in Kombinationen von Instrumenten überführen, die eine große Ressourcen- und Kompetenzabdeckung erreichen.

5. Die Güte von Messverfahren – auch eine pragmatische Frage

Die Instrumente zur Kompetenzdiagnostik sollten Kriterien Genüge leisten, die sich auf die Qualität der Verfahren beziehen. Ebenso sollte der gesamte Messprozess diesen Gütekriterien entsprechen. Allerdings stehen verschiedene Gütekriterien zueinander in einem Spannungsverhältnis, sodass situationsbezogene Abwägungen notwendig sind.

Relevant sind Kriterien der diagnostischen (Test-)Güte (z.B. Bortz/Döring 2006), die sich auf die Zuverlässigkeit (Reliabilität), Objektivität (von Durchführung, Auswer- tung und Interpretation) und Gültigkeit (Validität) der Verfahren beziehen und einen gewissen Aufwand in Konstruktion, Durchführung, Auswertung und Interpretation mit sich bringen. Im praktischen Einsatz stellen Kriterien der Akzeptanz, Ökonomie und Handhabbarkeit, Nützlichkeit und Vergleichbarkeit zusätzliche wichtige Fakto- ren dar (vgl. Gnahs 2008). So sollen Messmethoden möglichst hohen Gütekriterien genügen, aber auch einfach und kostengünstig einsetzbar sein, was nur unvollkommen zu erreichen ist.

Die Frage nach der Optimierung von Gütekriterien lässt sich beispielhaft anhand der Akzeptanz verschiedener Verfahren beleuchten. Gilt das gesellschaftlich-politische Interesse an der berufsbezogenen Kompetenzerfassung der Unterstützung der Beschäf- tigungsfähigkeit von Arbeitnehmern und einer verbesserten Zuordnung von Arbeit- nehmern und Arbeitgebern, so haben Arbeitgeber i.d.R. ein Hauptinteresse an der Verbesserung des internen Personalmanagements, insbesondere bei Entscheidungen in der Personalentwicklung und -auswahl. Die Individuen dagegen interessiert vor al- lem eine bessere Selbstdarstellung in Auswahlsituationen und die Steuerung und För- derung ihrer eigenen Kompetenzentwicklung (vgl. Gillen 2006). Anbieter beruflicher Weiterbildung haben ein vitales Interesse daran, ihre jeweiligen Dienstleistungen an Individuen und Organisationen abzusetzen.

Die verschiedenen Perspektiven führen zu unterschiedlicher Akzeptanz von Ver- fahren und entsprechenden Spannungen. Verfahren, die in der Hoheit der Personen, deren Kompetenzen gemessen werden sollen, selbst liegen, werden von Arbeitgebern kaum berücksichtigt, da sie mangelnde Objektivität und Gültigkeit der Ergebnisse be- fürchten. Das Interesse von Individuen, sich in summativen Kontexten möglichst positiv darzustellen, wird zumindest aus Arbeitgebersicht mitunter als Verfälschungsabsicht gedeutet. Es gelingt bislang nicht, entsprechende Verfahren im Personalwesen von Un- ternehmen zu integrieren (vgl. Hell u.a. 2006). Von den Arbeitgebern durchgeführte Verfahren werden umso weniger von Bewerbern und Arbeitnehmern akzeptiert, je

stärker sie auf die klassischen Testgütekriterien ausgerichtet sind, da diese sich tenden- ziell in hoher Standardisierung, einer asymmetrischen Interaktionssituation und der Einschränkung von Reaktionsmöglichkeiten äußern. Bewerber fühlen sich dadurch in ihrer Selbstdarstellung und ggfs. in ihren Persönlichkeitsrechten beeinträchtigt, wäh- rend Mitarbeiter negative Konsequenzen befürchten, wenn die Verfahren zu schlech- ten Einschätzungen führen, ohne dass sie das im Wesentlichen beeinflussen können. In Organisationen besteht die Gefahr, dass eine formativ angesetzte Kompetenzmessung vom Mitarbeiter als summativ beargwöhnt wird, was ein ernstes Problem für Bil- dungsbedarfsanalysen darstellt.

Wissenschaftliche Standardverfahren zur Erhöhung von Akzeptanz sind ein er- kennbarer Anforderungsbezug und offene Rückmeldungen über die Verfahren. Getra- gen von einem glaubwürdig kommunizierten professionellen Erkenntnisinteresse und dem Interesse an fairen Verfahrens- und Vorgehensweisen (vgl. Thibault/Walker 1975) können sie Akzeptanz schaffen und somit zum Aufbau von Verfahrensakzeptanz bei- tragen. Ihre Umsetzung ist in der Praxis nicht durchgängig gewährleistet. Auch politi- sche Entscheidungen sollen die Verwendung hochwertiger Verfahren unterstützen, die ansonsten nicht akzeptiert werden (vgl. Björnavold 2001), wobei im Bereich der (Wei- ter-)Bildung im Rahmen der Anerkennung von Kompetenzen durchaus Fortschritte zu verzeichnen sind (vgl. BMBF 2008; Colardyn/Björnavold 2004).

6. Fazit

Kompetenzdiagnostik stellt an die Beobachtenden und Beurteilenden hohe Ansprüche, sei es in der Selbst- oder Fremdbeobachtung, in der Selbst- oder Fremdbeurteilung, bei der Befragung, Beobachtung oder Nutzung von Testverfahren. Die Verfahren müs- sen sorgsam entwickelt, ihre Anwendung hinreichend begleitet und die Auswertung von qualifizierten Personen vorgenommen werden. Damit geht ein gewisser Aufwand einher, der sich durch die Auswahl vorhandener Verfahren nur teilweise senken lässt.

Ansonsten sind Einbußen in der Aussagekraft der Ergebnisse unvermeidlich.

Je nach Messintention bieten sich Verfahren und ganze Verfahrensgruppen an oder schließen sich gegenseitig aus. Bei summativer Intention sind Selbsteinschätzun- gen auf Konstruktebene u.a. durch bewusste und unbewusste Verzerrungstendenzen kaum brauchbar, während in formativen Kontexten Verfahren ohne Selbstauskünfte der zu Beurteilenden auf jeden Fall zu kurz greifen, weil die ausschließliche Berück- sichtigung von Ergebnissen ohne Einbeziehung ihres Zustandekommens Zweifel an der Aussagekraft von Kompetenzzuschreibungen zulässt.

Die unterschiedliche Akzeptanz der Verfahren durch Anwender/innen und zu Be- urteilende trägt dazu bei, dass nicht in allen Kontexten die jeweils am besten fundier- ten Verfahren zum Einsatz kommen. Ferner kann auch aus dem technisch sicheren Einsatz eines solide entwickelten Instruments ein unbrauchbares Ergebnis resultieren, wenn es dem Kontext nicht angemessen ist, z.B. weil die Personengruppe, auf die es

Be it rä ge

angewendet werden soll, sich der Messung wegen geringer Akzeptanz des Verfahrens widersetzt. Damit ist nicht nur aus Sicht der Kompetenzdefinition und der technischen Konstruktion von Verfahren, sondern auch in pragmatischer Hinsicht die Kompetenz- erfassung und -messung ein sehr vielgestaltiges Feld, das von den jeweiligen Anwen- der/inne/n vorab bedachte Entscheidungen und ein umsichtiges Vorgehen erfordert, um zu brauchbaren Ergebnissen zu gelangen.

7. Literatur

Björnavold, J. (2001): Lernen sichtbar machen: Ermittlung, Bewertung und Anerkennung nicht formell erworbener Kompetenzen. In: Europäische Zeitschrift für Berufsbildung, H. 22, S. 27–36

Bortz, J./Döring, N. (2006): Forschungsmethoden und Evaluation. 4. Aufl. Berlin

BMBF (Hrsg.) (2007): Möglichkeiten und Voraussetzungen technologiebasierter Kompetenz- diagnostik. Bonn/Berlin

BMBF (Hrsg.) (2008): Stand der Anerkennung non-formalen und informellen Lernens in Deutschland. Bonn/Berlin

Colardyn, D./Björnavold, J. (2004): Validation of Formal, Non-formal and Informal Learning:

Policy and Practices in EU Member States. In: European Journal of Education, H. 39, S. 69–89

Dehnbostel, P. (2001): Perspektiven für das Lernen in der Arbeit. In: QUEM (Hrsg.): Kompe- tenzentwicklung 2001. Tätigsein – Lernen – Innovation. Münster, S. 53–93

Erpenbeck, J./Rosenstiel, L. von (Hrsg.) (2007): Handbuch Kompetenzmessung. 2. Aufl. Stuttgart Erpenbeck, J./Rosenstiel, L. von (2009): Vom Oberlehrer zur Kompetenzhebamme – Kompe- tenzentwicklung als Zukunft der Weiterbildung. In: Weiterbildung. Zeitschrift für Grund- lagen, Praxis und Trends, H. 2, S. 6–9

Fietz, G./Junge, A. (2007): Europaweit einsetzbare Verfahren zur Kompetenzerhebung – Span- nungsfelder der Gestaltung. In: Berufsbildung in Wissenschaft und Praxis, H. 3, S. 22–27 Frey, A. (2006): Methoden und Instrumente zur Diagnose beruflicher Kompetenzen von Lehr- kräften – eine erste Standortbestimmung zu bereits publizierten Instrumenten. In: Alle- mann-Ghionda, C./Terhart, E. (Hrsg.): Kompetenzen und Kompetenzentwicklung von Lehrerinnen und Lehrern. Ausbildung und Beruf. Weinheim, S. 30–46

Frey, A. (2007): Adaptives Testen. In: Moosbrugger, H./Kelava, A. (Hrsg.): Testtheorie und Fragebogenkonstruktion. Berlin u.a., S. 261–278

Frey, A./Balzer, L. (2005): Der Beurteilungsbogen smk: Ein Messverfahren für die Diagnose von sozialen und methodischen Fähigkeitskompetenzen. In: Frey, A. u.a. (Hrsg.): Kompe- tenzdiagnostik. Landau, S. 31–56

Geißler, K./Orthey, F.-M. (2002): Kompetenz: Ein Begriff für das verwertbare Ungefähre. In:

Nuissl, E. u.a. (Hrsg.): Kompetenzentwicklung statt Bildungsziele? Bielefeld Gillen, J. (2006): Kompetenzanalysen als berufliche Entwicklungschance. Bielefeld

Gnahs, D. (2008): Kompetenzdiagnostik – eine zentrale Aufgabe für Weiterbildungseinrichtun- gen. In: Grotlüschen, A./Beier, P. (Hrsg.): Zukunft Lebenslangen Lernens – Strategisches Bildungsmonitoring am Beispiel Bremens. Bielefeld, S. 83–97

Hanft, A. u.a. (2007): Mehr als nur Wissen. Methoden und Instrumente der Kompetenzerfas- sung. In: Weiterbildung, H. 6, S. 12–15

Hanft, A. u.a. (2008): Durchlässigkeit zwischen beruflicher Bildung und Hochschulbildung – eine Herausforderung für das deutsche Hochschulsystem. In: Grotlüschen, A./Beier, P.

(Hrsg.): Zukunft Lebenslangen Lernens – Strategisches Bildungsmonitoring am Beispiel Bremens. Bielefeld, S. 99–111

Hartig, J./Jude, N. (2007): Empirische Erfassung von Kompetenzen und psychometrische Kompetenzmodelle. In: BMBF (Hrsg.): Möglichkeiten und Voraussetzungen technologie- basierter Kompetenzdiagnostik. Berlin, S. 17–36

Hell, B. u.a. (2006): Interne Personalauswahl und Personalentwicklung in deutschen Unterneh- men. In: Wirtschaftspsychologie, H. 1, S. 2–22

Ingenkamp, K./Lissmann, U. (2008): Lehrbuch der Pädagogischen Diagnostik. 6. Aufl. Wein- heim

Kaufhold, M. (2006): Kompetenz und Kompetenzerfassung. Analyse und Beurteilung von Ver- fahren der Kompetenzmessung. Wiesbaden

Klieme, E./Hartig, J. (2008): Kompetenzkonzepte in den Sozialwissenschaften und im erzie- hungswissenschaftlichen Diskurs. Zeitschrift für Erziehungswissenschaft. Sonderheft 8, S. 11–29

Linden, W.J. van der/Glas, A.W. (Hrsg.) (2000): Computerized Adaptive Testing: Theory and Practice. Dordrecht

Lord, F. M. (1980): Applications of Item Response Theory to Practical Testing Problems. Mah- wah

McClelland, D.C. (1998): Identifying Competencies with Behavioral-Event Interviews. In: Psy- chological Science, H. 9, S. 331–339

Mummendey, H.D. (1995): Die Fragebogen-Methode: Grundlagen und Anwendungen in Per- sönlichkeits- und Selbstkonzeptforschung. Göttingen

Novick, N. u.a. (1996): Competence Self-Concept. In: Bracken, B.A. (Hrsg.): Handbook of Self-Concept. Developmental, Social, and Clinical Considerations. Oxford, S. 210–258 OECD (2005): Definition und Auswahl von Schlüsselkompetenzen. Paris

Preißer, R./Völzke, R. (2007): Kompetenzbilanzierung – Hintergründe, Verfahren, Entwick- lungsnotwendigkeiten. In: Report. Zeitschrift für Weiterbildungsforschung, H. 1, S. 62–71 Prenzel, M. u.a. (Hrsg.) (2008): Kompetenzdiagnostik. Wiesbaden

Rupp, A.A./Templin, J.L. (2008): Unique Characteristics of Diagnostic Classification Models.

A Comprehensive Review of the Current State-of-the-art. In: Measurement. Interdiscipli- nary research & perspective, H. 6, S. 219–262

Schuler, H. u.a. (2003): Konzeption und Prüfung eines multimodalen Systems der Leistungsbe- urteilung. In: Individualmodul. Zeitschrift für Personalpsychologie, H. 2, S. 29–39 Sonntag, K. (2009): Kompetenztaxonomien und -modelle: Orientierungsrahmen und Refe-

renzgröße beruflichen Lernens bei sich verändernden Umfeldbedingungen. In: Nova Acta Leopoldina, NF 100, 364, S. 249–265

Spencer, L.M. u.a. (1992): Competency Assessment Methods. History and State of the Art.

Boston

Sultana, R.G. (2009): Competence and Competence Frameworks in Career Guidance. Com- plex and Contested Concepts. In: International Journal for Educational and Vocational Guidance, H. 9, S. 15–30

Thibault, J./Walker, L. (1975): Procedural Justice. A Psychological Analysis. Hillsdale Vonken, M. (2005): Handlung und Kompetenz. Theoretische Perspektiven für die Erwachse-

nen- und Berufspädagogik. Wiesbaden

White, R.W. (1959): Motivation Reconsidered. The Concept of Competence. In: Psychological Review, H. 66, S. 297–333

Wick, A. (2005): Urteiler in der Personalauswahl. München Wottawa, H./Thierau, H. (2003): Lehrbuch Evaluation. 3. Aufl. Bern