Bretz, Elke / Richter, Norbert / Petermann, Franz und Waldmann,
Hans-Christian
Entwicklung und Anwendung eines Fragebogens zur Evaluation
einer Erzieherinnenfortbildung zum Thema sexueller Mißbrauch
Praxis der Kinderpsychologie und Kinderpsychiatrie 46 (1997) 6, S. 420-434
urn:nbn:de:bsz-psydok-39911
Erstveröffentlichung bei:
http://www.v-r.de/de/
Nutzungsbedingungen
PsyDok gewährt ein nicht exklusives, nicht übertragbares, persönliches und beschränktes Recht auf
Nutzung dieses Dokuments. Dieses Dokument ist ausschließlich für den persönlichen,
nicht-kommerziellen Gebrauch bestimmt. Die Nutzung stellt keine Übertragung des Eigentumsrechts an
diesem Dokument dar und gilt vorbehaltlich der folgenden Einschränkungen: Auf sämtlichen Kopien
dieses Dokuments müssen alle Urheberrechtshinweise und sonstigen Hinweise auf gesetzlichen
Schutz beibehalten werden. Sie dürfen dieses Dokument nicht in irgendeiner Weise abändern, noch
dürfen Sie dieses Dokument für öffentliche oder kommerzielle Zwecke vervielfältigen, öffentlich
ausstellen, aufführen, vertreiben oder anderweitig nutzen.
Mit dem Gebrauch von PsyDok und der Verwendung dieses Dokuments erkennen Sie die
Nutzungsbedingungen an.
Kontakt:
PsyDok
Saarländische Universitäts- und Landesbibliothek
Universität des Saarlandes,
Campus, Gebäude B 1 1, D-66123 Saarbrücken
E-Mail: psydok@sulb.uni-saarland.de
Inhalt
Inhalt
Erziehungsberatung
Coughlan,J -G Zur Arbeitvon Erziehungsberatungsstellen beiVerdacht auf sexuellen
Mißbrauch
(üealmg
inChild GuidanceCentres withAllegations ConcerningtheSexualAbuse ofChildren) 499
Famihentherapie
Heekerens,H -P
Familiendiagnostik
ungeklärt-Diagnoseunklar
(Family
üiagnostics-Diagnosis Unclear) 489
Forschungsergebnisse
Bretz, E/Richter, N/Petermann, F/Waldmann, H-C
Entwicklung
undAnwendung
einesFragebogenszurEvaluationeinerErziehennnenfortbildungzumThema sexuel lerMißbrauch (AQuestionnaire forthe Evaluation ofan Eductors Trainingon Child
SexualAbuse Developmentand
Application)
420Fegert, J M/Schulz, J/Bergmann,R
/Tacke,
U/Bergmann,
K E/Wahn, U Schlafverhal¬ten in denersten dreiLebensjahren
(Sleep
Behaviorin the First Three YearsofLife) 69Gohr,M/Ropcke,B/Pistor, K/Eggers,C AutogenesTrainingbei Kindern undJugend liehen mit Diabetes mellitus Typ 1 ( Autogenic Training with Children and Young
Patientswith Diabetes mellitusType 1) 288
Haberle,H/Schwarz,R/Mathes,L FamilienonentierteBetreuungbei krebskrankenKin¬ dern undJugendlichen
(Family
Onentated InterventionsofChildren and Adolescentswith CancerDisease) 405
Legner, A/Pauli-Pott, U/Beckmann, D Neuromotonsclie und
kognitive
Entwicklungrisikogeborener Kinder im Alter von fünf Jahren (Neuromotonc and Cognitive
Development
of5-year-old Children witha PennatalRisk) 477Sarimski, K Elternbelastung bei
komplexen
kraniofazialen Fehlbildungen(Parenting
Stressin Families with CramofaciallyDisorderedChildren) 2 Steinebach, C Familienberatung in der Fruhforderung Bedingungen und Wirkungen
aus der Sicht derMutter
(Family
Counseling in Early Education Circumstances and Effects fromtheMothers PointofView) 15Kinder und Gewalt
Gebauer, K Bearbeitungvon Gewalthandlungen imRahmeneines
pädagogischen
Kon¬zeptesvonSelbst- undSozialentwicklung
-Oder MitSchulkindernuber Gewalt reden
(Deahng
with Physical Aggression within the Framework ofan Educational Conceptof Seif- andSocial
Development
-OrDiscussing Physical Aggression with
Pupils)
182 Gobel, S Aggression, unbelebteObjekte
und die Phantasie der UnzerstorbarkeitIV Inhalt
Krannich,S./Sanders, M./Ratzke, K./Diepold, B./Cierpka, M.:FAUSTLOS-Ein Cumculum
zur
Forderung
sozialerKompetenzenundzurPräventionvon aggressivem undgewalt¬ bereitem Verhalten bei Kindern(FAUSTLOS-aCumculum foranlncreaseofSocial Skillsand forthe Prevention ofAggressiveandPotentiallyViolentBehaviorinChildren).... 236 Meier,U.:Gewaltindet Schule
-ProblemanalyseundHandlungsmoglichkeiten (Violence
in School
-Analyzing a Phenomenon and Outlining
Concepts
of Practice-FocusedPrevention andIntervention) 169
Nolting,
H.-P./Knopf,
H.:Gewaltverminderung
indetSchule:Erprobung
einerkoopera¬tivenIntervention
(Reducing
Aggressionin the Schools: ACoopetative
Intervention). 195 Petermann, F./Petermann, U.:Verhaltenstherapie
mit aggressiven Kindern (BehaviorTherapywithAggressive Children) 228
Ratzke,
K./Sanders, M./Diepold,
B./Krannich,S./Cierpka,
M.:UberAggressionund Gewalt bei KinderninunterschiedlichenKontexten(OntheAggression andViolenceofChrld¬ren inDifferentContexts) 153
Schweitzer,J.:
Systemische
BeratungbeiDissoziahtat,Delinquenz
undGewalt(Systemic
Consultation in Problem Systemsinvolving
AdolescentActing-Out-Behavior, Delin¬quency andViolence) 215
Wetzels, P./Pfeitfer, C: Kindheit und Gewalt: Tatet- und
Opferperspektiven
aus Sicht derKnminologie (Children as Offenders and Victims of Violent Acts: CnminologicalPerspectives)
143Praxisberichte
Zollinger,R.:PsychotherapieeinesKnabenmiteinerDepressionnachdem Todvon zwei sei¬ nerBruder
(Psychotherapy
ofaBoywithaDepressionaftertwoof his Brothersdied)... 727Psychotherapie
Fascher, R. Überlegungen zur psychodynamischen Bedeutung des
Versteckspielens
in derKinderpsychotherapie (Reflectionson Psychodynamic MeanmgofPlaymg
Wide-and Seekin Child
Psychotherapy)
660Hirsch,M.-Psychoanalytische
Therapie
bei sexuellmißbrauchtenJugendlichen(Psycho¬
analytic Therapywith AdolescentVictimsofSexualAbuse) 681Übersichten
Bilke,
O./Mollering,
M.: Dermultidiziplmare Quahtatszirkel -einQualitatssicherungs-modellfur kinder-und
jugendpsychiatrische
Kliniken(The Quality AuditingCouncil-aMethod ofQuality Managementfor Child and Adolescent
Psychiatry)
257Kammerer, A./Rosenkranz,J/Resch, F.. Das Verschwinden der Scham und die Pubertät vonMadchen(The Disappearance ofShameand thePubertyofGirls) 113
Knorth, E.J./Smit, M.. ElterlichePartizipation bei Heimbetreuung in den Niederlanden
(Parental InvolvementinResidental Care intheNetherlands) 696
Rauchfleisch,U.:Überlegungenzuden Ursachen undWrrkmechanismendes Konsumsvon
Gewaltdarstellungen
bei Kindern undJugendlichen (ConsiderationsAbout Motives andConsequencesofthe Use of Violent PresentationsonChildren andAdolescents) 435
Inhalt V
Remschmidt,H
Entwicklungstendenzen
der Kinder- undJugendpsychiatne
(Trendsinthe
Development
ofChildand AdolescentPsychiatry)
445Renard, L
Psychoanalytische Behandlungsmoglichkeiten
in der Kinder- und Jugend¬psychiatne
inFrankreich(Psychoanalytical
ApproachesinFrancesChild andAdolescentPsychiatry)
278Rothenberger, A/Huther G Die Bedeutungvon psychosozialem Streß im Kindesalter fur die strukturelle und funktionelle
Hirnreifung
neurobiologischeGrundlagen
derEntwicklungspsychopathologie
(TheRole ofPsychosocialStressinChildhood forBrainMaturation Neurobiological Basis ofDevelopmental
Psychopathology)
623Schleiffer,R Adoption psychiatrischesRisikound/oder protektiverFaktor7
(Adoption
PsychiatncRiskand/orProtectiveFactor?) 645
Schredl,M/Pallmer,R
Alptraume
vonKindern(Nightmares
in Children) 36von Gontard, A/Lehmklhl, G Enuresis diurna ist keine Diagnose
-neue Ergeb nisse zurKlassifikation, Pathogenese und
Therapie
der funktionellen Harninkon¬tinenzim Kindesalter ( Diurnal enuresis isnot a Diagnosis -New
ResultsRegar¬ ding Classification, Pathogenesis and Therapy of Functional Unnarylncontinence
in Children) 92
von Gontard, A/Lehmkuhl, G Enuresis nocturna - neue
Ergebnisse zu genetischen
pathophysiologischen
und psychiatrischen Zusammenhangen (Nocturnal Enuresis-AReviewofGenetic,Pathophysiologic, andPsychiatric Associations) 709
Wilkes,J Gottisttot- FriedrichNietzsches
Ödipuskomplex (God isdead -Nietzsche
s
Oedipus
Complex)
268Vater und
Jugendliche
Fentner, S
/Seiffge-Krenke,
1 Die Rolle des Vaters in der familiären KommunikationBefunde einer
Langsschnittstudie
angesunden
und chronisch krankenJugendlichen(FathersRolein FamilyCommunication ResultsofaLongitudinal StudyonChroni¬
cally111 and Healthy Adolescents) 354
Mattejat, F/Remschmidt,H DieBedeutung derFamilienbeziehungen fur die Bewälti¬ gungvon psychischen
Störungen
-Ergebnisse ausempirischen
Untersuchungen
zurTherapieprognose beipsychisch gestörten Kindern undJugendlichen (The Impactof
Family Relations on Coping Processes ofChildren and Adolescents with Psychiatric
Disorders) 371
Seiffge-Krenke,1
/Tauber,
M DieIdealisierungdes Vaters einenotwendige Konsequenz in Scheidungsfamihen7 (Idealization of the Non Custodial Father A NecessaryConsequence of ParentalDivorce7) 338
Shulman, S Der
Beitrag
vonVätern zum Individuationsprozeß in derAdoleszenz (TheContnbution ofFathersto Adoleszents Individuation) 321
Verhaltens-und
Psychodiagnostik
Breuer,D
/Döpfner,
M DieErfassungvonproblematischen
Situtationen in derFamilie(TheAssessment of Problem Situations within the
Family)
583 Döpfner, M/Lehmkuhl G Von der kategonalen zur dimensionalen Diagnostik (FromVI Inhalt
Döpfner, M/Wolff Metternich, T/Berner,
W/Englert,
E/Lenz,
K/Lehmkuhl, U/Lehm¬ kuhl,G/Poustka,F/Steinhausen,H -C Diepsychopathologische BeurteilungvonKin¬ dern undJugendlicheninvierkinder- undjugendpsychiatrischen
Inanspruchnahme¬stichproben
-einemultizentnscheStudie (TheClmicalAssessment ScaleofChild and
Adolescent
Psychopathology
within fourSamples
ofClinicsof Child andAdolescentPsychiatry
-AMulitcenterStudy)
548Frolich, J
/Döpfner,
M Individualisierte Diagnostik bei Kindern mithyperkinetischen
Störungen
(Individuahzed Assessmentof Children withHyperactivity
Disorders) 597Pluck,J/Döpfner,M/Berner,W/Fegert,J M/Huss,M
/Lenz,
K/Schmeck,K/Lehmkuhl,
U/Poustka,F/Lehmkuhl,G Die
Bedeutung
unterschiedlicherInformationsquellen
beiderBeurteilung
psychischer Störungen
imJugendalter-einVergleichvonElternurteil
und SelbsteinschatzungderJugendlichen (The Impact ofDifferentSourcesofInfor¬
mation forthe AssessmentofBehavioural and Emotional Problemsin Adolescence
-AComparison ofPatent-ReportsandYouth
Self-Reports)
566Buchbesprechungen
Bauerle,D Sucht-und Drogenpravention in der Schule 62
Birbauer,N/Schmidt,R F Biologische
Psychologie
400Bode,M
/Wolf,
C Still-LebenmitVater ZurAbwesenheitvonVäternin der Familie 133Boeck-Singelmann, C/Ehlers, B/Hensch, T/Kemper, F/Monden-Engelhardt, C
(Hrsg)
Personzentrierte
Psychotherapie
mit Kindern und Jugendlichen, Bd 1Grundlagen
undKonzepte 129
Borchert,J
Pädagogisch-therapeutische
Interventionen beisonderpadagogischemFor¬derbedarf 738
Bowlby, J Elternbmdungund Personlichkeitsentwicklung Therapeutische Aspekte der
Bindungstheone 309
Coulacoglou, C Marchentest,FairyTaleTest -FFT 678
Denig-Helms,K Klassenarbeiten
erfolgreich
bestehen DasProgrammfurguteNotenimSchriftlichen 740
Fliegner,J Scenotest-Praxis EmHandbuch zur
Durchfuhrung,
Auswertung und Inter¬pretation 250
Fuchs, M
/Elschenbroich,
G(Hrsg)
FunktionelleEntspannung
in derKinderpsycho¬
therapie
674Greve,W/Roos,J DerUntergangdes
Ödipuskomplexes
ArgumentegegeneinenMythos 465Grissemann,H Dyskalkulieheute Sonderpadagogische Integrationauf demPrufstand 675 Guthke,J/Wiedl,KH DynamischesTesten ZurPsychodiagnostikderintraindividuellen
Variabilität 132
Helms,
W/Denig-Helms,
K Fit fürsGymnasium Die neuenHerausforderungen erfolg¬
reich bewältigen 740
Helms,W Bessermotivieren
-wenigerstreiten So helfen Sie Ihrem Kind-aber
nchtig 740
Helms,W
Hausaufgaben
erledigen-konzentriert, motiviert, engagiert 740
Helms,W Losgehts1 Alles Gutezum Schulstart 740
Helms, W Vokabeln lernen - 100% behalten Die
erfolgreichen Tips zum Fremdspra¬
chenlernen 740
Hoffmann, L
Therapeutische
Konversationen Von Macht und Einflußnahme zurZusammenarbeitin derTherapie 399
Inhalt VII
Hoffmann, S 0/Hochapfel, G Neurosenlehre, Psychotherapeutischeund Psychosoma¬
tische Medizin 310
Jones, E
Systemische
FamihentherapieEntwicklungen
der Mailänder systemischenTherapien - ein Lehrbuch 308
Kalff,D M
Sandspiel
Seinetherapeutische Wirkung
aufdiePsyche 673Kasler, H/Nikodem,B Bittehört,wasich nicht sage
Signale
von Kindern undJugend liehenverstehen, die nicht mehr lebenwollen 131Konnertz,D/Sauer,C Tschüs dann1 Die
erfolgreichen
Arbeitstechniken fursAbitur 740Kreuser, U Gestalterisches
Spiel
in seiner Bedeutung fur dieLernforderung
geistigbehinderterKinder 396
Loewenberg,P
Decoding
the Past ThePsychohistoncalApproach
510Marmor,J
(Hrsg
) Psychoanalysis NewDirections andPerspectives
252Metzmacher, B/Petzold, H/Zaepfel, H
(Hrsg)
Praxis derIntegrativenKindertherapie
IntegrativeKindertherapie
inTheorieund Praxis,Bd 2 734Metzmacher,B/Petzold,H/Zaepfel,H
(Hrsg) Therapeutische
ZugangezudenErfahrungs¬weltendesKindesvonheute Integrative
Kindertherapie
inTheoneundPraxis,Bd 1 58Moller,J/Koller, 0
(Hrsg)
Emotionen,KognitionenundSchulleistung 742Nissen, G/Trott,G E Psychische StörungenimKindes-undJugendalter 311 Opp,G/Peterander,F
(Hrsg
) FocusHeilpadagogik
ProjektZukunft 401Parens,H KindlicheAggressionen 63
Passolt, M
(Hrsg
) MototherapeutischeArbeitmit hyperaktivenKindern 676Perkal, M Schon war draußen
Aufzeichnungen
eines 19jahngen Juden aus demJahre 1945 60
Peterander,F/Speck,0
(Hrsg) Fruhforderung
inEuropa 677Rahm,D IntegrativeGruppentherapie mitKindern 733
Reiser,M L KindlicheVerhaltensstörungenund
Psychopharmaka
740Resch,F
Entwicklungspsychopathologie
desKindes-undJugendalters
Em Lehrbuch 135Schauder,T
Verhaltensgestorte
Kinderin derHeimerziehung 308Seidler, C
Gruppentherapie
bei Persönlichkeits- und Entwicklungsstorungen imJugendalter 735
SeiffgeKrenke,
1/Boeger,
A/Schmidt, C/Kollmar,F/Floss,
A/Roth, M Chronisch krankeJugendliche undihre Familien 394 Studer, F Training kognitiver Strategien ein computergestutztesForderprogramm 508vonSchlippe,A/Schweitzer,J Lehrbuch dersystemischen Therapieund Beratung 395 Walter,M Jugendknminalitat Einesystematische Darstellung 398 Welter-Enderlin,R/Hildenbrand,B Systemische TherapiealsBegegnung 617
Wendeler,J Psychologiedes Down Syndroms 618
Wenglein, E
/Hellwig,
A/Schoof, M(Hrsg )
Selbstvernichtung Psychodynamik undPsychotherapie
beiautodestruktivem Verhalten 59Wolfram,W W Das
pädagogische
Verständnisder Erziehenn-Einstellungen undPro¬
blemwahrnehmungen
251Editonal 1, 141, 319,475, 517
Autoren und Autorinnen der Hefte 57, 122, 248, 304, 393, 459, 507, 597, 672,732
Zeitschnftenubersicht 124, 305, 460,612
Tagungskalender
66, 137, 254, 315, 403, 471, 513,620,744Entwicklung
und
Anwendung
eines
Fragebogens
zur
Evaluation
einer
Erzieherinnenfortbildung
zumThema sexueller Mißbrauch1
Elke
Bretz,
NorbertRichter,
Franz Petermann und Hans-Christian WaldmannSummary
A
Questionaire
for the Evaluation ofan Educators'Training
on Child Sexual Abuse:Development
andApplication
Theauthors constructeda
questionnaire
toevaluateaten-day-training
curriculum for educatorsconcerning
thetopicof sexual abuse of children. Thisquestionnaire
measureslearning
outcomesaswellasbehavioralchangeatwork. Itconsistsofthreeparts:a
knowledge
test,anattitude que¬stionnaireanda
self-report questionnaire.
Thecontentscorrespond
tothetraining goals.Aspart of the evaluationstudythequestionnaire
wascompleted by
asample
of129educators. Thein-spection of
item-diffkulty
andreliabilty yielded
positive results-furtherameliorationcanbe
achieved
by
minorchanges.
Firstanalyses confirm thehypothesis
that theself-report questi¬
onnaire is alsoavalidinstrumentfor
training
evaluation. Thequestionnaire
washighly accepted
by
the trainees,and thecostsof evaluation wererelatively
low.Thus thequestionnaire
can berecommended as anevaluationinstrumentfortrainingswith similar
goals
andtrainees.Zusammenfassung
Zur Evaluation einer
zehntägigen Fortbildung
zumThema„SexuellerMißbrauchanKin¬ dern" wurdevonden Autoren einFragebogen
entwickelt,
der Lernen und Verhaltensän¬derungen
amArbeitsplatz überprüft.
Er bestehtausdrei Teilen: einemWissensfragebo¬
gen, einem
Einstellungsfragebogen
und einemSelbsteinschätzungsbogen.
Die Inhalteentsprechen
den Lernzielen derFortbildung.
Im Rahmen der Evaluation wurde derFrage¬
bogen
an einerStichprobe
von 129 Erzieherinnenerprobt.
DieÜberprüfung
vonltem-schwierigkeiten
und Reliabilitat brachtepositive
Resultate-weitereVerbesserungen
sind durchgeringfügige
Änderungen
möglich.
ErsteAnalysen
stützen dieAnnahme,
daß derSelbsteinschätzungsbogen
auch ein valides 1 nstrumentzurFortbildungsevaluation
ist. DieAkzeptanz
derBefragung
bei denFortbildungsteilnehmerinnen
warhoch,
der Evaluati¬onsaufwand ist
verhältnismäßig gering.
FürFortbildungen
mit ähnlichen Lernzielen und ähnlichem Teilnehmerkreis ist derFragebogen
als Evaluationsinstrument zuempfehlen.
1Diese Arbeit resultiert
auseinemProjektdes Bundesministeriums für Familie undSenioren,andem das
DiakonischeWerk,Stuttgart(Projektleitung:Dipl.-Päd.I.Kellermann-Klein) und das Amtfür Soziale Dien¬ ste, Bremenbeteiligtsind.
Prax.Kinderpsychol.Kinderpsychial.46: 420-434(1997),ISSN 0023-7034
E. Bretzetal.: Evaluation einerErzieherinnenfortbildung 421
1
Einleitung
Die Evaluationvon
Fortbildungsveranstaltungen
wirdhäufig gefordert,
abernurinsel¬tenenFällen tatsächlich
durchgeführt.
Oft beschränken sich Evaluationsmaßnahmen aufdas Ausfüllenvon
Seminarkritikbögen
durch die Teilnehmer derVeranstaltung
und dieZufriedenheit der Teilnehmer bleibt das
einzige
Kriterium,
mit dem derSeminarerfolg
gemessenwird.
Organisatoren
und DozentenvonFortbildungsveranstaltungen vergeben
damit die
Chance,
denErfolg
einerFortbildung überzeugend
zu dokumentieren.Es
gibt
eineVielzahlvonGründen für diesemangelnden
Evaluationsaktivitäten. Diesmachteine ListevonThterauet al.
(1992)
deutlich. NebenHinderungsgründen
auf Sei¬tender
Teilnehmer,
der Dozenten und despotentiellen
Evaluators werden hierauf Auf¬traggeberseite
unter anderem die hohen Kosten einer Evaluation bzw. dasungünstige
Kosten-Nutzen-Verhältnis
genannt.
Nicht selten kostet dieanwissenschaftlichen Ma߬stäben
ausgerichtete
Evaluation ebensoviel Geld wie dieFortbildungsmaßnahme
selbst. Das kommt unteranderemdaher,
daß in derRegel
keineStandardfragebögen
benutzt werden können.Angepaßt
andiespezifischen
Ziele und Inhalte derjeweiligen
Fortbil¬dung
mußdas Instrumentarium zurBefragung
der Teilnehmer oder andererZielperso¬
nen stetsneu entwickelt werden.lndieser Arbeit wird ein
Fragebogen vorgestellt,
dervon unsfür die Evaluation einerzehntägigen
Erzieherinnen-Fortbildung
zum Thema „Sexueller Mißbrauch von Kin¬ dern undJugendlichen"
entwickelt wurde.Fortbildungen
zu diesem Thema sind inletzter Zeitunter
heftige
Kritik der Presse geraten - sie werden fürAufdeckungseifer
undFalschbeschuldigungen
verantwortlichgemacht.
Evaluation und Dokumentation derFortbildungsergebnisse
erscheint unsdahergerade
in diesem Bereich zurVersach¬lichung
der Diskussion besonderswichtig
zusein. Wirgehen
davonaus, daßunserFra¬gebogen
auch für andereFortbildungen
mit ähnlichen Lernzielen als Evaluationsin¬strument einsetzbar ist. Damit könnte der Aufwand einer Evaluation zum Thema
sexueller Mißbraucherheblich reduziert werden.
Im
folgenden
stellen wir zunächst die theoretischenGrundlagen
unsererFragebo¬
genkonstruktion
dar. Danachgehen
wirauf dieDurchführung
der Evaluation ein und berichten dievon unsermitteltenErgebnisse
zurQualität desFragebogens.
Abschlie§end werden wir die
Einsatzmöglichkeiten
diskutieren.2
Evaluationskonzept
Nach Weinert soll durch Evaluation von
Qualifizierungsmaßnahmen festgestellt
wer¬den,
„obdiegesetzten
Trainingsziele
erreichtwurden,
welchesTrainingsprogramm
und welcheTrainingstechnik
effektiverist,
wieviel anTraining
überhaupt notwendig
ist"(Weinert
1987, S.251).
Evaluation ist ein Bestandteil des
Gesamtsystems
einerQualifizierungsmaßnahme.
Dieses besteht ausfolgenden
Schritten:1.
Feststellung
vonQualifizierungsbedarf
422 E. Bretz etal.: Evaluation einerErzieherinnenfortbildung
3.
Ableitung
der Inhalte derQualifizierungsmaßnahme
4. EntwurfvonMethoden undMaterial
5.
Durchführung
derQualifizierungsmaßnahme
6.
Ableitung
vonEvaluationskriterienaus denQualifizierungszielen
7.
Durchführung
derEvaluationDie
Evaluationsergebnisse
habenRückwirkung
auf die Punkte eins bis fünf. Auch dieSchritte eins bis vier können einer Evaluation
unterzogen
werden,
indemzumBeispiel
die Methodenzur
Ermittlung
desQualifizierungsbedarfs
kritischauf ihreAngemessen¬
heit und
Vollständigkeit
hinüberprüft
werden.Analysedes —
Trainingsbedarfs
i Formulierung der Lernziele Gestaltungvon-Trainingsinhalten
und -methodenDurchführung
desTrainings
Ableitung
der Evaluationskriterien EvaluationAbb.1: DasTrainingssystemimÜberblick (modifiziertnach Goldsteinu. Gilliam 1990)
Abbildung
1zeigt
diewichtigsten Komponenten
einesTrainingssystems.
Hier wird ins¬ besondere der engeZusammenhang
zwischen den Lernzielen und den Evaluationskri¬ terien deutlich. Klar definierte Lernziele sind eineVoraussetzung
für die sinnvolle Be¬wertung
einerMaßnahme.Zur Evaluation von
Fortbildungen
kann man verschiedene Kriterien heranziehen.Besonders
gebräuchlich
ist dieEinteilung
von Kriterien nach Kirkpatrick(1976).
Erunterscheidet vier Kriterienebenen: - Reaktionender Teilnehmer
auf
die Maßnahme(z.B. Zufriedenheit, Bewertung
des Gelernten für dieTätigkeit)
- Maße des
Lernerfolgs (z.B.
Kenntnistests,
Leistung
inSimulationen)
- Verhalten der Teilnehmer am
Arbeitsplatz (z.B. Verhaltensbeobachtungen,
Beur¬teilungen
durchVorgesetzte o.a.)
- Maße
auf
derOrganisationsebene (z.B. Umsatzsteigerung, Verringerung
von Fehl¬zeiten)
Kirkpatrick
postuliert,
daßVeränderungen
auf einer Ebenejeweils notwendige
aber nicht hinreichendeVoraussetzung
fürVeränderungen
auf der nächsthöheren Ebene sind.Allerdings steigt
mit wachsender Kriterienebene auch der Einfluß zusätzlicher Fak¬toren
(z.B.
wirtschaftliche Situation desUnternehmens,
Klima in derAbteilung)
auf das gemessene Kriterium.Veränderungen
oderNicht-Veränderungen
können also immerE. Bretz etal.: Evaluation einerErzieherinnenfortbildung 423
weniger eindeutig
auf dieQualifizierungsmaßnahme zurückgeführt
werden. Daher wirdnachRösler
(1988) generell
einemultivariateKriteriumserfassung
zuunterschiedlichenMeßzeitpunkten
zurAbschätzung
desErfolgs
derQualifizierungsmaßnahme gefordert.
Kraiger et al.(1993) bemängeln
an KirkpatricksEinteilung,
daß derBegriff
„Lernen"(Kriterienebene 2)
nicht klar genug definiert wird. Sieschlagen
vor,je
nachErgebnis
ver¬schiedene Lernarten zu differenzieren. Orientiert an den Lerntaxonomien von Bloom
(1956)
und Gagne(1984)
unterscheiden sie drei FormenvonLernergebnissen,
für diejeweils
unterschiedliche
Erfassungsmethoden geeignet
sind:(1) Kognitionen („cognitive
outco¬mes"), (2) Fertigkeiten („skill-based outcomes"), (3) Einstellungen
und Motivation(„affec¬
tive
outcomes").
BeziehtmandieseEinteilung
in das Klassifikationsschema nach Kirkpa¬ trick(1976)
ein,
soentsteht ein sehrdifferenziertesSystem
vonEvaluationskriterien.Die
Durchführung
einer Evaluation kann auf Teilnehmerseite sowohlpositive
als auchnegative
Reaktionen hervorrufen. Alspositiver
Effekt istzumBeispiel
eineErhöhung
derLernmotivationim Sinne einesHawthorne-Effektsdenkbar
(Twerau
et al.1992).
Eskann aber auch zuWiderständenkommen,
unteranderemdann,
wenndieEvaluation bei denTeilnehmern
Bewertungsängste
auslöst. Diese Gefahr besteht besondersdann,
wenn zurÜberprüfung
vonVerhaltensänderungen (Kriterienebene 3) Bewertungen
der Teilneh¬mer durch Dritte
(Vorgesetzte, Kollegen, Kunden) herangezogen
werden. Daher stelltsich die
Frage,
wieVerhaltensänderungen
amArbeitsplatz
valide,
effizient und ohnene¬gative „Nebenwirkungen"
gemessen werden können.Selbsteinschätzungen
des Verhal¬tensdurch die Teilnehmer sind hier eine denkbare Alternative. Sie sind
jedoch
imBereich der Arbeits- undOrganisationspsychologie
noch immerunüblich,
waswohl inersterLinie daranliegt,
daß siefüreignungsdiagnostische
Zwecke nicht brauchbar sind.Ältere
Lite¬raturzumThema
„Training" (Wexley
u. Latham1981)
faßtdeshalb die Selbsteinschät¬zungvon Verhalten noch als Sonderformvon „Reaktionen" sensu Kirkpatrick auf. ln letzter Zeit wird
jedoch
vonverschiedenen Autoren die Ansichtvertreten,daß Selbstein¬schätzungen
als Verhaltensindikator eine zufriedenstellende Validitätaufweisenkönnen,
sofern bestimmte
Rahmenbedingungen
gegeben
sind und bestimmte methodische Hin¬ weise zurGestaltung
derSelbsteinschätzungsbogen
beachtet werden(Mabe
u. West1982;Donat 1991;Sonntagu.Schäfer-Rauser
1993).
Evaluationskriterien auf der
Organisationsebene (Kriterienebene 4)
sind inNon-Pro-fit-Bereichenrelativ schwerzu definieren. Im
Umgang
mitsexuellem Mißbrauch könn¬ tensolche Kriterien zumBeispiel
sein:- Wie
lange
dauert dieBearbeitung
eines Mißbrauchsverdachts im Amt für soziale Dienste?- Wieviele Beschwerden
vonEltern
gibt
esim Rahmenvon Mißbrauchsfällen?- Mit wievielen
Ansprechpartnern
muß ein mißbrauchtes Kind seine Geschichte be¬sprechen,
bevor eszu einer wirksamen Schutzmaßnahme kommt?Allein die
Aufzählung
dieserBeispiele zeigt,
wieschwierig
esist,
solche Kriterien zuüberprüfen.
Insbesondere wirdman in den meisten Fällen sehr viel Zeit nach Abschlußder
Qualifizierungsmaßnahme
brauchen,
bevor hinreichendgroße
Fallzahlenbeobach¬tetwerden
konnten,
die einen Aufschluß über den Einfluß derFortbildung
auf dieseKriterien
geben
können. EineErfassung
vonKriterien der vierten Ebene nach Kirkpa¬424 E Bretzetal Evaluation einerErziehennnenfortbildung
3 Problematik der
Fortbildungsevaluation
zum Thema sexueller MißbrauchÜberall,
wo es um Menschengeht, gibt
eskeineeindeutigen
Antworten aufProble¬me, sondern immer
mehrere,
mehr oder wenigerwiderstreitende,
Losungsvorschlage
Dies zeigen die unterschiedlichen
therapeutischen
undpädagogischen
Ansätze eben¬so deutlich wie die Vielfalt von
Behandlungsmethoden
furkörperliche
KrankheitenNichtimmer
gibt
esjedoch
derart erbitterte Differenzen zwischen den Vertreternein¬zelner Ansätze wie beim Problem sexueller Mißbrauch. Fegert
(1995,
S.194) spricht
in diesem
Zusammenhang
treffend von einer„Polansierung
in dersogenannten,Kin-derschutzlandschaft'." Bereits bei der
Benennung
des Sachverhalts scheiden sich die Geister: sexueller Mißbrauch oder sexuelle Gewalt7 Und die Differenzen setzen sich fort hinsichtlich der Zahl derFalle,
derSymptome (Mißbrauchssyndrom
odernicht7),
der
richtigen Vorgehensweise (Strafanzeige
ja odernein?),
bis hin zurFrage
nach demgeeigneten
Therapieansatz
furMißbrauchsopfer.
Selbst eineFortbildung,
die mög¬lichst „neutral"
gehalten
ist und nurgesichertes
Wissenvermittelt,
wird in dieser Si¬ tuationzwangsläufig
der einen oder anderenMeinung
naherstehen. Dies bedeutetfur die
Evaluation,
daß sie sichkonsequent
an den Lernzielen orientierenmuß,
und daß diese Lemziele sehr genau zuoperationahsieren
sind. Unter Umstanden konnte man in einemgesonderten
Schrittbeurteilen,
inwieweit die Ziele derFortbildung
sinnvoll und
vollständig
sind.Ferner muß bei einer
Erzieherinnen-Fortbildung
zum sexuellen Mißbrauch zwar eine Vielzahl von Kenntnissen vermitteltwerden,
aber entscheidendeVoraussetzung
fur die
Verhaltensanderung
und damit fur denErfolg
derFortbildung
sindLemziele,
die in der Taxonomievon Kraiger et al.(1993)
zu den„affective
outcomes"gezahlt
werden. Besonders eine
Ent-Emotionahsierung
des Themasistwichtig,
damit die Er¬zieherinnen,
wenn sie den Verdacht auf Mißbrauch eines Kindeshaben,
ruhig
undüberlegt
reagieren und sich Zeit nehmenzuprüfen,
ob nicht auch andere Grunde furdie beobachteten
Verhaltensanderungen
des Kindesverantwortlich sein konnten. EmEvaluationsinstrument muß daher auch Lernziele im Bereich der Motivationen und
Einstellungen
erfassen.4 Aufbau des Evaluationsinstruments
Dervon uns entwickelte
Fragebogen
dient ausschließlich derErgebnis-
nicht der Pro¬zeßevaluation. Er soll also
feststellen,
inwieweitsichWissen,
Einstellungen
und Ver¬ halten der Teilnehmerinnenaufgrund
derFortbildung
verandern.Eshandelt sichum einen
Fragebogen,
der sichausdrei Teilenzusammensetzt: einemWissensfragebogen,
einemEmstellungsfragebogen
undeinemSelbsteinschätzungsbo¬
gen. Damit werden die Kriterienebenen 2und 3 nach Kirkpatrick
abgedeckt,
wobei wirdie Ebene 2 „Lernen"imSinnevonKraigeret al.
(1993)
differenziert haben.Der
Lernerfolg
wirdüberprüft
durch denWissensfragebogen,
dergrößtenteils
immultiple-choice-Format gehalten
ist,sowiedurcheinenEinstellungsfragebogen,
da dieÄnderung
vonEinstellungen
zu denexplizit
formuliertenFortbildungszielen gehorte
E. Bretzeta).: Evaluation einerErzieherinnenfortbildung 425
DasVerhalten der Teilnehmerinnen am
Arbeitsplatz (soweit
es durch dieQualifizie¬
rungsmaßnahme
verändert werdensollte)
wirdvon unsdurchSelbstbeschreibung
bzw.Selbstbeurteilung
der Teilnehmerinnen erfaßt. Da dieBefragung
anonym stattfandund die
Ergebnisse
keinerleiAuswirkungen
auf einzelne Teilnehmerinnenhaben,
ge¬ hen wir davon aus,daßSelbstbeurteilungsmaße
hinreichend valide sind. Diese Annah¬me kann ansatzweise
überprüft
werden durchVergleich
derSelbsteinschätzung
der Kenntnissemit denErgebnissen
inhaltlichähnlicher Teile desWissensfragebogens.
Die¬ser
Vergleich
beschränkt sichjedoch
auf den Wissensbereich und ist auch hier kein Er¬satz für eine
Kriteriumsvalidierung
desSelbsteinschätzungsbogens.
Auf eine Validie¬ rung derFragen
zum Verhalten durchVorgesetztenbeurteilungen
oder ähnlicheshaben wir bewußt
verzichtet,
um dieAkzeptanz
der Evaluation durch die Teilnehme¬rinnen nicht zu
gefährden.
Zusätzlich haben wir erhoben:- die Reaktionen der Teilnehmerinnen
(Ebene 1)
durchFragebögen
zurZufriedenheitmit dem
Seminar;
-
Kontrollvariablen,
diemöglicherweise
denErfolg
derQualifikationsmaßnahme
be¬ einflussenkönnen,
wie zumBeispiel
dieBerufserfahrung
der Teilnehmerinnen undihre
Vorerfahrung
mitMißbrauchsfällen;
- die
praktische Anwendung
des Gelernten durcheinige
direkteFragen
in derFol-low-up-Befragung (3.
Meßzeitpunkt);
-Dozentinneneinschätzungen
desSeminarverlaufs;
da imProjekt
voninsgesamt
10 Dozentinnen Seminaredurchgeführt
wurden,
haben wir neben den Teilnehmerin¬nen auch die Dozentinnen aktiv in die Evaluation
einbezogen.
Tabelle 1
zeigt,
welche Evaluationsmaße von den Teilnehmerinnen erhoben wurdenund welchen Ebenensensu Kirkpatrick diese unseresErachtens zuzuordnen sind.
Tab.l: Evaluationsinstrumente
Evaluationsmaß Zweckbzw.Kriterienebene nachKirkpatrick
Fragebogen
zuVorerfahrungen KontrollvariableSelbsteinschätzungsbogen
Verhalten amArbeitsplatz/Lernerfolg
Einstellungsfragebogen
Lernerfolg
Wissensfragebogen
Lernerfolg
Seminarbeurteilungsbögen
Reaktionen derTeilnehmerinnenFragen
zurUmsetzungdes Gelernten VerhaltenamArbeitsplatz
Ausschlaggebend
für die inhaltlicheGestaltung
derFragebogenteile
waren die in Ab¬bildung
2 genannten Lernziele derFortbildung.
DieFragebögen
sind daher vollstän¬dige
Neukonstruktionen.Aufgrund
derVielfältigkeit
der Lernziele und des breiten In¬formationsspektrums,
das in derzehntägigen Fortbildung
vermitteltwurde,
beziehen sich die einzelnenFragen
auf sehr unterschiedlicheAspekte
des Themas. Um eine hö¬ hereMeßgenauigkeit
zuerzielen,
haben wirinhaltlich ähnliche Items derFragebögen
zu Skalenzusammengefaßt,
mit demZiel,
in sicheinigermaßen homogene
Skalen zuAntwortenden-426 E Bretzetal EvaluationeinerErziehermnenfortbildung
Lemzieleder
Fortbildung
DieErziehennnen sollen• Wissen
uber
Forschungsergebnisse
zuEntstehungsbedingungen
undVerlaufvon sexuellemMißbrauch informiertsein
diagnostische
Hinweisekennendie den
Umgang
miteinem Mißbrauchsverdacht betreffendengesetzlichen Regelungen
kennen
die
Aufgaben
vonBeratungsstellen, Jugendamtern,
Genchten und Polizei imUmgang
mitsexuellem Mißbrauch kennen
wissen,welche
Handlungsschntte
bei einemVerdachtaufsexuellen Mißbrauch sinnvoll sindMöglichkeiten
der Prävention kennenlernen•
Affektive
HaltungzurThematikdasThemasexueller Mißbrauch nicht überbewerten
dasProblem Mißbrauch innerlich distanziert betrachten können
•
Einfühlung
inMotive undBedurfnisse
derFamilienmitgliederein Gefühl furdie
Bedeutung
von Familie furein Kind bekommenerkennen,wie
schwierig
esist, furkleine Kinderangemessene Alternativen zurFamiliezubieten
sich in die
psychische
Situabon einernicht an derTatbeteiligten
Mutterversetzen können/Empathie
fur dieschwierige
Situation der Mutter entwickelnsich dereigenen überhöhten Ansprüchean dieMutterbewußt werdenund realistischere
Erwartungen andie Mutter stellen können
sensibler furdieSituation/Rolle der einzelnen
Familienmitglieder
in einerMißbrauchsfamiliewerden
den Tater nichtaus derVerantwortung furdieFamilieentlassen • Umgangmitdem Verdacht
beieinem Mißbrauchsverdachtweniger
emotional/panisch
reagierenSicherheitimUmgangmitVerdachtsfallen erwerben sensiblermitder Mutter
umgehen
könnenimberuflichen
Alltag
aufSetzungeigener Grenzenachtenzu der
Einstellung gelangen,
daß eineStrafanzeige
bei sexuellem Mißbrauch eines Kindes keingeeignetes Mittel ist• Prävention
Prävention von sexuellem Mißbrauch als
wichtige
und sinnvolleAufgabe
fur Erziehennnen erkennensich geschlechtsspezifischen Umgangmitden Kindern bewußtmachen
in ihrererzieherischenArbeitdarauf achten, auch die nicht
geschlechtsrollenkonformen
Eigenschaften
und Verhaltensweisen derKinderzuforderndieeigenenHemmungen,uber Sexualitätzu
sprechen,
abbauen Abb2 Lemziele derFortbildung
E Bretz etal EvaluationeinerErziehermnenfortbildung 427
zen
negativ
formuliert. DieZusammenfassung
der Items zu Skalenerfolgte
durch Ex¬pertenrating
und wird anhand der Daten derVorbefragung überprüft.
Tabelle2
gibt
einenÜberblick uber die Skalenin denFragebogen.
DerWissensfrage¬
bogen
enthalt neben den drei Skalen noch eine offeneFrage
zuPraventionsmoghch-keiten und eine
Frage
zurVorgehensweise
in einemkonkreten Fall Die Antworterfolgt
bei
Selbstbeurteilungsbogen
undEinstellungsfragebogen jeweils
aufeinersiebenstufi¬gen Skalamit den Polen „trifftsehr zu" und
„trifft
gar nicht zu". ImWissensfragebogen
gibt
esbei denmeistenFragen
dieAntwortmoglichkeiten „richtig",
„falsch"und „weiß nicht";bei derFrage
zurPrävention soll die AntwortinStichworten formuliertwerden;
bei der
Frage
zurVorgehensweise
sollenjeweils
die zutreffenden Itemsangekreuzt
wer¬den Die
Bearbeitungszeit
fur denGesamtfragebogen hegt
bei circa 30MinutenTab2 Skalen des
Fragebogens
Skala
Beispiel
ItemsSelbsteinschätzungsbogen
SE 1Handlungskompetenz
imVerdachtsfall SE2 Wissen(Grundlagen
undInstitutionen) SE 3 PräventionSE4 Reden uber Sexualität
Wennich beieinemKind, dasichbetreue,
plötzlich
einenVerdachtaufsexuellenMißbrauchhatte,wäreich erstmal ratlos
Ich weißnursehrwenig darüber,wie manerkennen
kann,obein Kind sexuell mißbraucht wird
Ich achtebewußtdarauf, dieKinder nicht
geschlechts-rollentypisch
(brave Madchen,harteJungs)
zu erziehen ImUmgang
mitden Kindern vermeideichsexuelle Begnf-fe,wie„Scheide", Pimmel",oder, miteinander schlafenEinstellungsfragebogen
EINST1 Bewertung
EINST2 Prävention
EINST3 Rolle der Mutter
Sexueller Mißbrauchistdas Schrecklichste,was man 9
einem Kind antun kann
EineErziehennkann
eigentlich
kaumetwastun,um ein 4KindvorsexuellemMißbrauch zuschützen
Esist
völlig
undenkbar,daß eineMuttervondem Miß- 6brauch ihres Kindes weiß und ihn nicht verhindert
Wissensfragebogen
Wl I Definition Wl 2 Grundlagen (Entste¬hungsbedingungen
etc) Wl 3 Kompetenzen anderer InstitutionenWird die
folgende Handlung
vomStrafrecht als sexuellerMißbrauchbetrachtet7 „Ein
19jahnger
stelltgegenüber
der
6jahngen
Schwesterwiederholtseinensteifen Penis zurSchau'Istdie
Aussage richtig
oder falsch7„Sexuellmißbrauchte Kinder reagieren meist mitWut undHaß auf denTater/dieTäterin
IstdieAussage richtig oderfalsch7
.Beratungsstellen
sindzurMeldungeinessexuellen MißbrauchsandasJu¬
gendamt verpflichtet,
wennihnendieser bekanntwird23
428 E Bretz etal EvaluationeinerErziehermnenfortbildung
5
Durchfuhrung
vonTraining
und EvaluationDie
Fortbildung
wurde zwischen Oktober 1994 undApril
1995mitzehnGruppen
vonEr¬ zieherinnen ausdem gesamtenBundesgebiet durchgeführt.
DieGruppen
bestandenauszehn bis 15Teilnehmerinnenund wurden
jeweils
vonunterschiedlichen Dozentinnen be¬ treut.Jedes Seminar dauerteinsgesamt
zehnTage
-diese wurdeninzweiBlockenafünf
Tage
oderin dreiBlockenzu zwei mal drei und einmalvierTagen
durchgeführt.
Befragt
wurden alle Teilnehmerinnen derFortbildung,
insgesamt
129Personen. Alle Teilnehmerinnen sindweiblich,
da Manner fur den Probedurchlauf des Seminars ex¬plizit
von derTeilnahmeausgeschlossen
waren. DieZielgruppe
des Seminars bestandausschließlich ausErzieherinnenin
Tageseinrichtungen
furKinder,
sodaß auchbezüg¬
lich derProfessionvon einer äußerst
homogenen Gruppe
gesprochen
werden kannGruppen Vortest Seminar
Beurteilung
der NachtestFollow-up-4,6,7,8,9,10 Seminarteile
Befragung
Gruppen
Seminar Beurteilung der NachtestFollow-up-1,2,3,5 Seminarteile
Befragung
Abb3 Überblickzum Design
Abbildung
3zeigt
dasVersuchsdesign
zurBefragung
der Teilnehmerinnen Ein Großteilder
Fragebogen
wurdeunterAnleitung
derSeminarleiterinnen direktindenFortbildungs-veranstaltungen
ausgefüllt.
Hierhegt
dieAntwortquote
bei 100%. Zum dritten Meßzeit¬punkt
wurden die Teilnehmerinnenvon unsangeschrieben.
DerRucklaufliegt
bei72,5°/oDie hohen
Antwortquoten
und auch die Berichte der Seminarleiterinnenmachendeutlich,
daß der
Fragebogen
bei den TeilnehmerinnenhoheAkzeptanz gefunden
hat.Selbsteinschätzungsbogen
wurde zu insgesamt dreiMeßzeitpunkten vorgegeben,
namlich vordem
Beginn
derFortbildung,
direkt danach und im Abstand von ca dreibis vier Monaten nach Ende der
Fortbildung
(Follow-up-Befragung).
Wissens- undEinstellungsfragebogen
wurdenjeweils
vor und direkt nach dem Seminardurchge¬
führt Die
Seminarbeurteilungsbogen
wurden von den Teilnehmerinnen nachjedem
Seminarabschnitt
ausgefüllt
Die
Bearbeitung
derWissens-,Selbsteinschatzungs-
undEinstellungsfragebogen
zuBeginn
derFortbildung
kann selbst einen Effekt haben: Durch dieFragen
wird dieAufmerksamkeit der Teilnehmerinnen auf bestimmte Teile des Seminars
gelenkt,
diesie dann
möglicherweise
anders verarbeiten als den Rest. Auch kann ein Austauschuber die
Fragen
bereits zu einemWissenszuwachs,
aberauch zurFestigung
von falsehen
Vorstellungen
fuhren. Um diesen Effekt zukontrollieren,
wurden die Seminare1,2,3 und 5 nicht inden Vortest
miteinbezogen.
6
Ergebnisse
Die
Qualitätsprüfung
des Evaluationsinstrumentserfolgte
in HinblickaufzweiFrage¬
stellungen (a)
Sind die Einzelitems so auf das Niveau derTeilnehmergruppe
E. Bretz et al.:Evaluation einerErzieherinnenfortbildung 429
stimmt, daß sie
Aussagen
überVerbesserungen aufgrund
des Seminars zulassen? ZurBeantwortung
dieserFrage
wurden dieItemschwierigkeiten
berechnet,(b)
Läßt sich dievon unsintendierteAufteilung
derFragebögen
in Skalen anhand derempirischen
Befunde
rechtfertigen?
ZurBeantwortung
dieserFrage
wurdenKonsistenzanalysen
vorgenommen.
Datengrundlage
für diePrüfung
derSchwierigkeit
und derSkalenqualität
sind dieBefragungen
vordemSeminar,
das heißt dieErgebnisse
von 75Seminarteilnehmerin¬nen und zehn
Kontrollpersonen.
EineAnalyse
auf der Basis derNachbefragung
wärenicht
sinnvoll,
da dieFragebögen,
insbesonderederWissensfragebogen,
von der Kon¬zeption
her daraufangelegt
sind,
daß am Ende des Seminars im Idealfall alleFragen
von allen Teilnehmerinnen
„richtig"
beantwortetwerden.6.1
Wissensfragebogen
Tabelle 3
zeigt
dieItemschwierigkeiten
der Einzelitems imWissensfragebogen
sowie die durchschnittlicheAnzahlgelöster
Items pro Skala, ln der Skala „Definitionen" lie¬ gen dieSchwierigkeitskoeffizienten insgesamt
sehr hoch(zwischen
0.58 und0.97),
wobei vier der neun Items einen Koeffizienten über 0.9 haben. Ein Item wurde vonallen
Befragten
richtig
beantwortet. Diegeringe Schwierigkeit zeigt
sich auch in der durchschnittlichen Anzahlgelöster
Items,
die bei 7.3 voninsgesamt
9liegt.
Die Skala„Definitionen" istalso fürunserenZweck der
Messung
vonWissenszuwachs zuleicht;
da schon im Vortest ein Großteil der Teilnehmerinnen die
Fragen richtig
beantwortenkonnte,
sind kaum nochVerbesserungen
aufgrund
des Seminarsmöglich.
Die Skalen
„Grundlagen"
und„Kompetenzen
anderer Institutionen" haben dieses Problem nicht.Lediglich
einzelne Items dieser Skalen habenLösungswahrscheinlich¬
keiten über 0.9. Diese könnten eliminiert werden. Bei der Mehrheit der Itemsliegen
die Kennwerteniedriger.
Dieszeigt
sich auch an der durchschnittlichen Anzahlgelöster
Items,
die für die Skala„Grundlagen"
14.4von 23 und für die Skala„Kompetenzen
anderer Institutionen" 7.4von 16
beträgt.
Gerade dashandlungsrelevante
Wissen über andere Institutionen und ihreUmgangsweise
mitMißbrauchsfällen ist also zuBeginn
des Seminars noch eher lückenhaft. Die internen Konsistenzwerte
(Cronbachs
alpha)
lauten für die einzelnen Skalen: Definition
(0.46), Grundlagen (0.68), Kompetenzen
anderer Institutionen
(0.74).
Dabei
gibt
es für die zweite und dritte Skala kaumVerbesserungsmöglichkeiten
durch Elimination von
Items;
beide Werte können als zufriedenstellend bezeichnet werden. Die interne Konsistenz der Skala „Definition" könnte durch die Herausnahmevon Item 7 auf Cronbachs
alpha
=0.57verbessert werden.6.2
Einstellungsfragebogen
Für
Einstellungsfragebogen
undSelbsteinschätzungsbogen
wurden dieItemschwierig¬
keiten nach einem
Vorschlag
von Fisseni(1990)
berechnet. Tabelle4zeigt,
nach Skalengeordnet,
dieItemschwierigkeiten
und dieKonsistenzkoeffizienten der Skalen im Ein¬430 E. Bretz etal.: EvaluationeinerErzieherinnenfortbildung
neun Items
besteht,
weist einen zufriedenstellenden internen Konsistenzwert vonCronbachs
alpha=0.70
auf. DieSchwierigkeiten liegen größtenteils
im mittleren Be¬reich,
allerdings gibt
eszwei extremschwierige
Items(Item
1 und Item12).
AuchItem10- „SexuellerMißbrauch erfordert
sofortiges
Handeln,
damiterso schnell wie
mög¬
lich
gestoppt
werden kann" - wirdvon den meisten Teilnehmerinnen stark
bejaht
(p=0.15).
Tab.3:
Itemschwierigkeiten
imWissensfragebogen
Skala Item
p(°/o)
Itemp(°/o)
Itemp(%)
Definition 1 68,9 4 58,1 7 74,4
durchschnittliche Anzahl 2 97,3 5 64,0 8 94,7
gelöster
Items: 7,3von9 3 100,0 6 93,3 9 82,7a=0,46
Grundlagen
10 97,3 18 79,7 26 93,2durchschnittliche Anzahl 11 86,7 19 93,2 27 37,8
gelösterItems: 14,4von 23 12 83,3 20 45,3 28 83,8
a=0,68 13 93,3 21 52,0 29 21,6 14 67,6 22 58,7 30 23,0 15 54,7 23 46,7 31 42,5 16 65,3 24 13,5 32 67,1 17 98,7 25 56,8 Kompetenzen anderer 34 94,5 40 6,8 46 38,9 Institutionen 35 70,8 41 13,7 47 88,9 durchschnittliche Anzahl 36 86,3 42 83,6 48 15,6
gelöster
Items:7,4von 16 37 32,9 42 31,5 49 26,4ct=0,74 38 34,2 44 52,1
39 34,2 45 33,3
Die 6-ltem-Skala „Rolle der Mutter" ist
heterogener
als die Skala„Bewertung",
der Konsistenzkoeffizientbeträgt
nur 0.58. Er könntejedoch
durch Elimination eines Items(Item
7: „EineMutter,
die esschafft,
sicheindeutig
auf die Seite ihres mi߬brauchtenKindeszu
stellen,
istwirklich zubewundern.")
auf 0.68 erhöht werden. DieItemschwierigkeiten
streuen im Bereichzwischen 0.21 und 0.71; ohne Item 7läge
dieStreuung
zwischen 0.21 und 0.48- die Items wären also auchbezüglich
ihrer Schwie¬rigkeit
homogener.
Problematisch
bezüglich
der internen Konsistenz ist die ausvier Items bestehendeSkala
„Prävention",
dielediglich
einen Koeffizienten von 0.22 aufweist.Gleichzeitig
weisen die Items dieser Skala nureine mittlere bis
geringe Schwierigkeit
auf. Esgeht
inhaltlich um die
Frage,
obpräventives
Arbeiten imKindergarten
überhaupt möglich
und sinnvoll ist-die
Gruppe
der Teilnehmerinnen scheint dieseEinstellung
bereitsvor dem Seminarweitgehend
zuvertreten.E Bretzetal EvaluationeinerErziehermnenfortbildung 431
Tab4
Itemschwiengkeiten
(pm)
undinterne Konsistenz(Cronbachs a) der SkalenimEinstellungsfragebogen
Skala Item pm Item pm Item pm
Bewertung 1 0,04 10 0,15 17 0,48
a=0,70 4 0,30 12 0,05 18 0,37
9 0,61 13 0,37 19 0 43
Prävention 2 0,77 8 0,82
a=0,22 5 0,55 15 0,70
Rolleder Mutter 3 0,21 7 0,71 14 0,22
a=0,58 6 0,48 11 0,36 16 0,38
63
Selbsteinschätzungsbogen
Tabelle 5 zeigt die
Ergebnisse
derKonsistenzanalyse
fur die vier Skalen desSelbst-emschatzungsbogens
Tabelle 6gibt
dieItemschwiengkeiten
wieder Sieliegen
fur dengesamten
Fragebogen größtenteils
in einemakzeptablen
Bereich zwischen 02und 0 8
Lediglich
die Skala „Prävention" weist ein sehr leichtes Item auf(Item
23,p=0 83)
sowie zwei weitere(Item
3 und Item21),
derenSchwiengkeitsindices
zwi¬schen 07 und 0 8
liegen
Es handelt sich hierbei umItems,
die dieHaltung
der Er¬ zieherin imalltäglichen Umgang
mit den Kindern betreffen Wenn man denSelbst-einschatzungen
der Teilnehmerinnenfolgt,
verhalten sie sich bereits mehrheitlich imSinne der
Lernziele,
indem sie dasSelbstbestimmungsrecht
der Kinderakzeptieren
und insbesondere keine
geschlechtsrollentypische Erziehung
der Kinderpraktizieren
Man kann darüber
spekulieren,
ob es sich bei diesenAngaben
um Selbstüberschät¬zungen handelt
Tab5 ReliabilitatderSkalen desSelbsteinschatzungsbogens
Skala Anzahl
Items
a r(t2-t3)
Verbesserungs-moglichkeiten
Handlungskompetenz
7 0,58 0,65 ohne Item 10 a=0,68imVerdachtsfall ohne Item 14 a=0,66
Wissen 7 0,68 0 68 ohne Item 5 a=0,78
Prävention 7 059 0,64 genng
Reden uberSexualität 4 0,47 0,36 ohne Item 4 a=0,61
Tabelle5 macht
deutlich,
daßdie Skalen auch in sich nocheinegewisseHeterogemtat
aufweisen,
wasnichtweiterverwunderlich ist, da wir mit einem relativ kurzenFrage¬
bogen
versuchen,einbreitgefachertes
GebietvonWissen und Verhaltensweisenabzu-432 E Bretzetal EvaluationeinerErziehermnenfortbildung
decken. Da fur den
Selbsteinschätzungsbogen
Datenvon dreiMeßzeitpunkten
vorlie¬ gen und da zwischen denMeßzeitpunkten
2und 3 kaum nochNiveau-Veränderungen
stattgefunden
haben,
ergibt
sich dieMöglichkeit,
die Skaleninterkorrelation t2-t3 als Retest-Rehabilitat(uber
den Zeitraumvon ca. vierMonaten)
zuinterpretieren.
Die Ko¬ effizienten sind ebenfalls inTabelle 5abgedruckt.
Bei den ersten drei Skalen sind die Stabilitatswerte sehr zufriedenstellendund,
wienicht anders zu erwarten, mindestensebensogroß
wie dieHomogenitatswerte
-lediglich
die Skala „Reden uber Sexualität'verfugt
nur ubereine geringe Stabilität.Tab 6
Itemschwiengkeiten
(pm)
undinterneKonsistenz(Cronbachs a)der Skalenim
Selbsteinschätzungsbogen
Skala Item pm Item pm Item pm
15 0,34 25 0,39 23 0,83
Handlungskompetenz
im 1 0,24 10 0,33 Verdachtsfall 2 0,53 11 0,53 a=0,58 7 0,57 14 0,44 Wissen 5 0,66 12 0,33 a=0,68 8 0,27 16 0,21 9 0,37 24 0,22 Prävention 3 0,76 18 0,37 a=0,59 6 0,64 19 0,30 13 0,34 21 0,79Reden uberSexualität 4 0,58 20 0,65
a=0,47 17 0,65 22 0,42
Als
Anhaltspunkt
fur dieValidität desSelbsteinschätzungsbogen
kann die Korrelation zwischen derSelbstbeurteilung
undentsprechenden objektiven
DatendesWissensfra¬gebogens
verwendet werden. Als Datenbasis dient hier wiederum der erste Meßzeit¬punkt.
Es mußjedoch
betontwerden,
daß derWissensfragebogen
nicht eigenszurVa¬lidierung
desSelbsteinschatzungsbogens
konstruiertwurde,
sondern inhaltlichweitgehend eigenständige
Lemziele abdecken soll. Die lnterkorrelation zwischen der Skala „Wissen(zu Grundlagen
undInstitutionen)"
desSelbsteinschatzungsbogens
und der Skala„Grundlagen"
desWissensfragebogens betragt
-0.37(p=0.002).
Die Skala„Handlungskompetenz
imVerdachtsfall" desSelbsteinschatzungsbogens
korreliertsi¬gnifikant
mit der Skala„Kompetenzen
anderer Institutionen" imWissensfragebogen
(r=-0.28;
p=0.02).
Diesbedeutet,
daß eine positiveSelbsteinschatzung (niedriger
Wert im
Selbsteinschätzungsbogen)
auch mit höheren Kenntnissen(hoher
Wert imWissensfragebogen)
invergleichbaren
Teilen desWissensfragebogens einhergebt.
Da die Inhalte der beidenFragebogen
sich zwarüberschneiden,
aber nichthundertpro¬
zentig
deckungsgleich sind,
wäre eine höhere Korrelation nichtzu erwarten.Vandenhoeck&Ruprecht (1997)
E Bretzetal EvaluationeinerErziehermnenfortbildung 433
64
Veränderungen
durch das SeminarVomerstenzumzweiten
Meßzeitpunkt
kommtesauf allen Skalen zueinersignifikan¬
ten
Verbesserung.
Lediglich
bei einzelnen wenigen ItemsistkeinAnstieg
zuverzeich¬nen
-größtenteils
handelt es sich hier um die Items, die schon im Vortest sohäufig
richtig
beantwortetwurden,
daß quasi keineVerbesserung
mehrmöglich
war.DieWer¬teim
Selbsteinschätzungsbogen
bleibenvomzweitenzum drittenMeßzeitpunkt
weit¬gehend
stabil. Die beiden anderenFragebogenteile
wurdenzum drittenMeßzeitpunkt
nicht mehr
durchgeführt.
Fur den
Selbsteinschätzungsbogen
berechneten wir eineMANOVAzurPrüfung
derFrage,
ob der Vortest dienachfolgende Veränderung
der Meßwerte beeinflußt. DieGruppen
mit und ohne Vortest unterscheiden sich nicht in der Differenz zwischen zweitem und drittemMeßzeitpunkt.
Der Vortest hat demnach keinen Einfluß auf dieVeränderung.
7 Diskussion
Die
Analyse
derFragebogenqualltat ergibt
in derZusammenfassung
ein erfreulichesBild Bei fast allen Skalen der drei
Fragebogenteile
streuen dieItemschwiengkeiten
größtenteils
im Bereich zwischen 0,2 und 0,8.Einige
zu leichte Items verschlechternauch die interne Konsistenz und können entfernt werden.
Lediglich
die Skala „Defini¬tion" des
Wissensfragebogens
enthaltinsgesamt
zu viele leichte Items; hier muß be¬ furchtetwerden,
daß Wissenszuwachsaufgrund
von Deckeneffekten nicht mehr adŠquat
abgebildet
werden kann. DieHomogenitat
der meisten Skalen istzufriedenstellend und wäredurchElimination einzelner Items noch zuverbessern Der
Selbsteinschätzungsbogen
weist uber einen Zeitraum von circa vier Monaten auchguteStabihtatskennwerte auf Erste
Analysen
stutzen dieAnnahme,
daß die Selbstein¬schatzung
imRahmen derFortbildungsevaluation
einvalides Meßinstrument darstelltZur
Verbesserung
derFragebogenquahtat schlagen
wir vor, die konsistenzreduzie¬renden Items ausden einzelnen Skalen zu entfernen Das
gleiche gilt
zurVorbeugung
vonDeckeneffekten fur einigeextremleichte Einzelitems. Durch dieseVerbesserungen
wurde sich auch die
Bearbeitungszeit
verkurzen und somitderAufwand der Evaluati¬onverringertwerden.
Die
insgesamt
zu leichteSkala „Definitionen"desWissensfragebogens
erfordertnä¬here
Uberiegungen.
Wir hattenaufgrund
unsererDaten denEindruck, daß,
sofern esum
praktische Beispiele geht,
zwischen denBefragten
unsererZielgruppe
eineweitge¬hende
Übereinstimmung
darüberbesteht,
welcheHandlungen
an einemKindsexuellerMißbrauch imstrafrechtlichenSinne sind und welche nicht. Von daher wurdenwir vor¬
schlagen,
diese Skala ganz zustreichen,
sofern nicht dieHypothese
besteht,
daß dieTeilnehmergruppe
einesehrniedrige
Anfangsquahfikation
hat(beispielsweise
Erziehe¬ rinnen in derAusbildung) Möglicherweise greift
aber unsereOrientierung
an straf¬rechtlichen Normen auch
insgesamt
zu kurzAuffällig
istimmerhin,
daßForschungs¬
arbeiten zu sexuellem Mißbrauch recht uneinheitliche Definitionenzugrundelegen
434 E Bretzetal EvaluationeinerErziehermnenfortbildung
(vgl.
Moggi1991),
was in derKonsequenz
zu unterschiedlichenHaufigkeitsangaben
fuhren kann. Dies wurde fureine Neukonstruktion der Skala
sprechen.
Der
Fragebogen
ist, wie dieempirische Erprobung
zeigt, geeignet,
Veränderungen,
die durcheine
Fortbildung
entstehen,
inhaltlich differenziertzu erfassen. Auch Verän¬derungen
des Verhaltens amArbeitsplatz
können durch denSelbsteinschätzungsbo¬
genmitwenigAufwand erfaßt werden. Die
Akzeptanz
derBefragung
bei denTeilneh¬merinnen ist hoch. Fur
Fortbildungen
mit ähnlichen Lernzielen und ähnlichemTeilnehmerkreis ist erdaher als Evaluationsinstrument zu
empfehlen.
Wünschenswertwäre es,den
Selbsteinschätzungsbogen
nochmalsingrößerem
zeitlichenAbstand zurFortbildung
ausfüllen zu lassen und eventuell noch durch einigeEinzelfragen
zu er¬ weitern. Auf diese Weisewäre eine nochüberzeugendere
Dokumentation von Ände¬rungen im Handeln der
Fortbildungsteilnehmer möglich.
Literatur
Bloom,B (1956) Taxonomyof educationalobjectives Thecognitivedomam New York DonaldMcKay Donat, M (1991) Selbstbeurteilung In Schuler,H (Hrsg) Beurteilung undForderung beruflicher Lei
stung Stuttgart
Fegert,JM (1995) Sexueller Mißbrauch
-EinfuhrungindenThemenschwerpunkt Kindheit und Entwick¬
lung4, 194-196
Fisseni,H J (1990) Lehrbuch derpsychologischen Diagnostik Gottingen Hogrefe
Gagne,R M (1984) Learningoutcomesand theireffects UsefulcategonesofhumanPerformance Amen¬
canPsychologist39,377-385
Goldstein, 1L/Gilliam, P (1990) Training SystemIssuesin the Year 2000 Amencan Psychologist 45(2) 134-143
Kirkpatrick,D L (1976) Evaluation ofTraining ln Craig,R L (Ed ) Traininganddevelopmenthandbook New York McGraw Hill
Kraiger,K/Ford,J K/Salas,E (1993) Applicationofcognitive, skill-based, andaffective theones of lear¬ ningoutcomes tonewmethods oftrainingevaluation Journal ofAppliedPsychology 78(2), 311-328
Mabe,PA/West,S G (1982) Validityof self-evaluationofability a review andmeta analysis Journal of
Applied Psychology67,280-296
Moggi, F (1991) SexuelleKindesmißhandlung Definition,Pravalenz und Folgen Psychopathologie und
Psychotherapie 39(4),323-335
Rosler,F (1988) Personalauslese TrainingundPersonalentwicklung in Organisationen In Frey,D/Graf
Hoyos,C/Stavilbero D Angewandte Psychologie München PVU
Sonntag,K/Schafer-Rauser,U (1993) SelbsteinschatzungberuflicherKompetenzenbei der Evaluationvon
Bildungsmaßnahmen Zeitschrift fur Arbeits-undOrganisationspsychologie 37(4), 163-171
Thierau,H/Stangel-Meseke,M/Wottawa,H (1992) EvaluationvonPersonalentwicklungsmaßnahmen ln Sonntag K (Hrsg) PersonalentwicklunginOrganisationen Gottingen Hogrefe
Weinert,A (1987) Lehrbuch derOrganisationspsychologie Weinheim PVU,2 Aufl
Wexley,K M/Latham,G P (1981) DevelopingandTrainingHuman ResourcesinOrganization Glenview
Scott,Foresman Et Co
Anschrift derVerfasser/in Dipl -Psych ElkeBretz, Teichstr 9,30449 Hannover