Standardimiskoolitus ja standardimine
3. etapp. Kohalike keeleõppijate sooritusnäidiste standardimine
5.7. Koolituse juurest standardimise juurde
Raamdokumendi keeleoskustasemete kohta omandatud teadmisi peaks kohalike keeleõppijate (suulise või kirjaliku väljendusoskuse) sooritusnäidiste või kohalike testiküsimuste/-ülesannete (skooritud kuulamise, lugemise ja keelepädevuse testidest) standardimiseks asuma rakendama võimalikult ruttu pärast standardimiskoolitust. Oleks hea, kui see toimuks samal sessioonil kas pärastlõunal või järgmisel päeval. Samas oskab koordineerija kõige paremini otsustada, kas seda saab kohe teha või oleks parem jätta tasemepiiride määratlemine mõnda hilisemasse etapiossa. Kui kohalike keeleõppijate sooritusnäidiste standardimise sessioon ei toimu kohe, on soovitatav läbida enne häälestusfaas, mille käigus näidatakse osalejatele lõike mõnest eelmises õpikojas hinnatud standarditud sooritusnäidistest ja tuletatakse meelde, mille üle toona arutleti.
Standardimise protsess on sama mis koolitusel.
51 5.7.1. Vajalikud sooritusnäidised
Kvaliteetsetest kohalikest sooritusnäidistest koosneva esindusliku valimi kogumisse investeeritavast ajast ja energiast ei tohiks olla kahju, isegi kui see põhjustab viivituse projekti ajakavas. Pärast raamdokumendiga standardimist saab nendest sooritusnäidistest tõenäoliselt väga tähtis võrdlusalus.
Iga näidise valik peab olema läbi mõeldud, sest see aitab tagada kvaliteeti, esinduslikkust (testitavaid silmas pidades) ja eksami sisukaetust.
Sooritusnäidiste kogumine sarnaneb suuresti testiküsimuste koostamisega:
• valikukriteeriumite määratlemine;
• võimalike sooritusnäidiste kindlakstegemine;
• nende uurimine ja kvaliteetsete näidiste väljasõelumine;
• väljavalimine;
• väljavalitud komplekti piisava kaetuse kontrollimine;
• uute sooritusnäidiste lisamine komplekti, kui see on vajalik;
• võrreldavate sooritusnäidiste tunnuste dokumenteerimine, kasutades abivahendina raamdokumendi kirjutamis- ja rääkimisülesannete tabeleid (lisa B2).
On väga tähtis, et standardimisel kasutatavad kohalike keeleõppijate sooritusnäidised hõlmaksid näiteid ühe ja sama õppija keelekasutusest erinevates diskursustes, sealhulgas erinevaid
raamdokumendis kirjeldatud tegevusi.
Rääkimise puhul on soovitatav kasutada ülesannet, mille etapid aitavad esile kutsuda eri tüüpi diskursusi – suulist tekstiloomet ja suulist suhtlust. Sooritusnäidiseid filmides püütakse vältida eksamineerija mõju. Sooritusnäidis peab näitama võrdselt nii rääkimisoskust kui ka suulise suhtluse võimet.
Kirjutamisoskuse puhul soovitatakse kaasata sooritusnäidiste hulka erinevaid tekstitüüpe. Ideaaljuhul hõlmavad kirjalikud sooritusnäidised nii loovülesandeid (nt kiri sõbrale, millegi kirjeldus) kui ka piiritletumaid ülesandeid, kus testitav järgib õpitud mudelit (nt hotellibroneeringut kinnitav kiri). See on eriti tähtis madalamate tasemete puhul.
Nii ülesande koostamise, ülesande läbiviimise kui ka ülesande salvestamise ja dokumenteerimise ajal tuleb mõelda kogu aeg sellele, et tulemuseks oleksid kvaliteetsed ja kasutuskõlblikud sooritusnäidised.
Videote puhul tähendab see head heli ja pilti14; kirjutamisülesannete vastustenäidiste puhul mõeldakse sooritust ilma välismõjudeta. Sellised mõjud on näiteks ülesande sooritamiseks antav lisaaeg,
sõnaraamatu kasutamine, kehv käekiri jne.
Raamdokumendi kirjutamis- ja rääkimisülesannete tabeli täitmine eelmises osas soovitatu kohaselt aitab tagada sooritusnäidiste tasakaalustatud valiku ja kindla aluse dokumenteerimiseks.
5.7.2. Ühtse arusaama saavutamine ja kinnitamine
Üldiselt on töö käik samasugune, nagu on kirjeldatud sooritusnäidistega standardimiskoolituse puhul osades 5.3 ja 5.4. See tähendab:
14Kui video kopeeritakse hiljem nn põhiplaadile või -kassetile, mida hakatakse omakorda levitamiseks kopeerima, saavad kasutajad oma käsutusse juba kolmanda koopia, mille helidefektid on võimendunud. Seetõttu on isegi digitaalse DVD-tehnoloogia puhul alati soovitatav kasutada välist mikrofoni, mitte seda, mis on kaamera sees. Välise, ringsuunalise piiratud leviulatusega (1–2 m) mikrofoni puhul on võimalik saavutada piisav helikvaliteet ka ilma helistuudio abita.
52
• samasuguste hindamisvahendite kasutamist nagu koolitusetapis (tabelid C1, C2 ja võib-olla C3 (pluss-tasemed); tabel C4 kirjaliku väljendusoskuse sooritusnäidiste puhul; raamdokumendi skaalad ja/või tabelid A1, A2 ja A3 teksti vastuvõtu oskuse ning keelepagasi ulatust kirjeldavate tekstide ja testiküsimuste hindamiseks);
• individuaalset hindamist, millele järgneb arutelu väikestes rühmades ja seejärel kogu rühma jõudmine üksmeelele;
• skaalavahemike ulatuse teemalist arutelu ja oma seisukohtade korduvat ülevaatamist senikaua, kuni jõutakse sobiva kokkuleppeni (arvamused ei erine üksteisest rohkem kui pooleteise taseme võrra).
Siinkohal on oluline rõhutada, et individuaalsed hinnangud tuleb üles tähendada enne igasugust arutelu. Näitlike DVD-de salvestamiseks korraldatud võrdlemisseminaridel saadud kogemused viitavad õigupoolest sellele, et arutelu mõjutab just hinnangute ulatust (piiripealsed arvamused kohanduvad keskmisega), mitte keskmist, ning seega mõjutab see tulemust. Sooritusnäidiste võrdlemise õpikoja edukust näitab see, kui individuaalsete hinnangute koondtulemuse ja lõpliku üksmeele alusel paigutatakse sooritusnäidis või testiküsimus samale raamdokumendi
keeleoskustasemele. Selle tõendamine koos kallutamata andmetega on osa tõendite esitamise protsessist.15
Kui kokkuleppele EI jõuta, peaks koordineerija osalejatega arutlema, miks neil sooritusnäidistega saavutatud edust hoolimata seekord selline probleem tekkis. Koordineerija peaks leidma probleemi põhjuse ja võtma sobilikud meetmed. Mõned võimalikud põhjused ja meetmed on alljärgnevalt loetletud.
Probleem Võimalik meede
• Kohaliku keeleõppija sooritusnäidis sisaldab vaid üht ülesannet, mis erineb märgatavalt raamdokumendi näidistest.
Veenduge, et olemasolev kirjalik või suuline diskursus/tekst on piisava mahuga. Valige sellised
sooritusnäidised, mis sarnanevad rohkem raamdokumendi vormistusega.
• Hindamistabel (nt tabel C2) tundub olevat sooritusnäidiste jaoks ebasobiv (nt kutsealane kontekst, kitsalt määratletud ülesanne).
Vaadake tabel uuesti läbi, uurides samal ajal ka raamdokumendi skaalasid.
• Mõned osalejad hakkavad oma õpilasi hinnates rakendama teisi standardeid.
Kõrvutage raamdokumendi ja kohalikke sooritusnäidiseid ning paluge inimestel kohaldada mõlema puhul üht ja sama raamdokumendi standardit.
5.7.3. Andmeanalüüs
Standardimiseks kasutatud kohalike keeleõppijate sooritusnäidistele antud hindepunktid tuleb analüüsida statistiliselt, et a) kinnitada nende seost raamdokumendi keeleoskustasemetega ning b) arvutada välja hindaja ja hindamise reliaablus (järjepidevus).
15See ei pruugi nii olla standardite kehtestamisel kaudsete, skooriga testide jaoks. Et standardi kehtestamine on kaudne protsess, toimub see mitme meetodi korral mitmes voorus. Hilisemates voorudes esitatakse tavaliselt teavet, mis suunab ekspertrühma liikmeid andma vähem täpseid hinnanguid – seetõttu ei lange algsete individuaalsete hinnangute koondtulemus kokku edukalt lõpule viidud standardi kehtestamise seminari lõpptulemustega. Teave, mida standardi kehtestamise
ekspertrühma liikmetele tavaliselt antakse, hõlmab küsimuse empiirilist raskust, seda, milline mõju on hinnangute käigus määratud tasemepiiridel sellele, kui suur osa testitavatest vastava tasemeni küündib, ja ka muud teavet. Vt 6. peatükki.
53
Selleks tuleb analüüsida antud hindeid standardimiseetapis ning leida osalejate arvamuste kokkulangevuse määr ja sooritusnäidiste keskmine tase. Niiviisi saab teha kindlaks ekspertrühma osalejad, kes ei ole järjepidevad, ning vajaduse korral arvata nende hindepunktid analüüsist välja.
Kasutada võib erinevaid meetodeid, mida on kirjeldatud käsiraamatu abimaterjalis. Lisaks hindamise reliaabluse korrelatsioonile on olemas näiteks ka mitmemõõtmeline Raschi mudel, mida kasutatakse FACET-i programmis.
5.7.4. Dokumenteerimine
Pärast õpikoda tuleb standarditud sooritusnäidiste komplekt ja õpikojas koostatud dokumendid arhiveerida. Edaspidist koolitust hõlbustab see, kui iga lõigu puhul on olemas üksikasjalikud dokumendid selle kohta, miks mingi sooritusnäidis on konkreetsele tasemele paigutatud. Sel juhul võib eeskujuks olla dokumentatsioon, mis esitati koos sooritusnäidiste DVD-dega.
Kasulikuks allikaks õpikojas toimunud arutelu kohta on audiosalvestis. Koordineerija võib aga ka näiteks paluda ühel või mitmel osalejal teha märkmeid selle kohta, miks paigutati sooritusnäidised just sellele tasemele. Need märkmed võib pärast õpikoda ühtlustada terviklikuks dokumentide kogumiks ja lasta osalejate seas ringi käima.
Käsiraamatu kasutajad võiksid mõelda:
• kuidas nad saaksid tagada projekti jaoks tasakaalustatud ja esindusliku ekspertrühma;
• kui suur peaks ekspertrühm olema, et see oleks töövõimeline ja mõistlik;
• milline üldstrateegia on selles kontekstis tõenäoliselt parim (ressursside, planeerimise, elluviimise ja analüüsi seisukohast);
• kas projekti eesmärk on kohalike keeleõppijate sooritusnäidiste standardimine selleks, et kasutada neid tulevikus kontekstipõhiste sooritusnäidistena;
• kuidas tagada, et selline kohalik materjal on standardimiseks (ja edasiseks koolituseks) hea kvaliteediga;
• millises vormis peaks olema kohaliku materjali dokumentatsioon ja kuidas sellist dokumentatsiooni esitatakse;
• milline peaks koolituse maht olema;
• kas kõik osalejad peavad alustama samast punktist või kas osale neist võiks anda keerukama ettevalmistava ülesande kui teistele;
• kas kasutada pluss-tasemeid (nii nende kasutamisel kui ka mittekasutamisel on eeliseid; oluline on mitte muuta meetodeid siis, kui töö on juba alanud);
• kas kasutada raamdokumendil põhinevaid hindamistabeleid, mis on esitatud lisas C, või töötada välja sektorikesksemad raamdokumendile tuginevad hindamisvahendid;
• kuidas avaldada ja/või levitada valdkonnaspetsialistide seas standardimisprotsessi tulemusi;
• kuidas tagada tulemuste korralik tutvustamine kohalikul tasandil ja järeltegevused.
54
Tabel 5.5. Standardimiskoolitus ja standardimine. Kokkuvõte
Etapp Vajalikud materjalid Aeg Inimesed Ettepanekud
RAAMDOKU-MENDIGA TUTVUMINE
• Küsimuste kontroll-lehed, mis tuginevad raamdokumendi kastides olevatele meenutusküsimustele
• Küsimuste kontroll-lehtede koopiad
• Raamdokumendi tabelite 1 ja 2 koopiad
• Raamdokumendi tabeli 2 ja teiste skaalatabelite ribadeks lõigatud versioonid
• Standarditud näidisvideod (vähemalt 8)
• Standarditud vastusenäidised (vähemalt 8) Erinevate osaoskuste skaalade koopiad:
• raamdokumendi tabel 3/käsiraamatu tabelid B1−B3 (suuline väljendusoskus)
• tabel B4 (kirjalik väljendusoskus) Koopiad:
• osalejate hindamislehtedest (vormid B2–B3)
• koordineerija hindamisvormidest (vorm B4) Teiste asjakohaste allskaalade koopiad
Kas kaks osaoskust päevas või pool päeva koolitust ja pool päeva standardimist ühe osaoskuse kohta.
KOOLITUS
(retseptiivsed oskused)
Erinevate osaoskuste skaalade koopiad:
• Üldine lugemisoskus
• Üldine kuulamisoskus Koopiad:
• osalejate hindamislehtedest (lisa 2)
• koordineerija hindamisvormidest (lisa 3)
• teistest asjakohastest allskaaladest
• kalibreeritud näidisküsimustest
3–4 tundi osaoskuse ühe päevaga on võimalik, sest osalejad on sellesse etappi jõudes
raamdokumendi tasemetega hästi tuttavad, samuti on nad kursis
standardimis-toimingutega.
SOORITUSNÄIDISTE STANDARDIMINE (produktiivsed oskused)
• Kohalikud näidisvideod (vähemalt 8)
• Kohalike keeleõppijate vastusenäidised (vähemalt 8)
• Osaoskuste skaalade koopiad
• Raamdokumendi tabel 3/käsiraamatu tabelid B1–B3 (suuline väljendusoskus)
• Tabel B4 (kirjalik väljendusoskus) Koopiad:
• osalejate hindamislehtedest (vormid B2–B3)
• koordineerija hindamisvormidest (vorm B4)
• teistest asjakohastest allskaaladest
3–4 tundi osaoskuse
Kas kaks osaoskust päevas või pool päeva koolitust ja pool päeva standardimist ühe osaoskuse kohta.
55