Tasemepiiride määratlemise ajastus

Kui raamdokumendiga sidumise projekt on väga mahukas, ei ole eksami korraldamist käsitlevate andmete kogumise ja tulemuste avaldamise vahel tavaliselt piisavalt aega, et viia läbi täielik tasemepiiride

määratlemise protsess ja hinnata selle valiidsust.

Arvestades, et isegi testikesksete tasemepiiride määratlemise meetodite puhul on soovitatav kasutada õppuritelt saadud reaalseid andmeid (teave mõju kohta, tagasiside reaalsusest, vt 6. peatükki), on

tasemepiiride määratlemiseks tõenäoliselt kõige sobilikum see aeg, mis jääb eeltestimise ja eksami lõpliku korraldamise vahele. Ülalkirjeldatud kaks aastat vältava planeerimisaja kasutamine annab võimaluse isegi kahe tasemepiiride määratlemise protsessi ristvalideerida. Seda selgitatakse üksikasjalikumalt osas 7.4.

Selles osas käsitletakse üksnes tagajärgi, mis kaasnevad nn eeltesti efektiga. Selle terminiga tähistatakse kõiki eeltesti ja tegeliku eksami vahelisi süstemaatilisi erinevusi, mis võivad sooritust mõjutada. Peamine

32 Soovitame väga mitte suhtuda sellesse arvu kui kindlasse normi. See näitab üksnes valimi suurusjärku. Kui eksam on kõrge panusega, tuleb küsida pädevaid nõuandeid väljaõppinud psühhomeetriaspetsialistilt, kes oskab tõenäoliselt arvutisimulatsioonide abiga hinnata, milline valimi suurus on sobilik.

95

mõju tuleneb tõenäoliselt motiveerituse erinevusest ja kõikidest otseselt motivatsiooniga seotud teguritest, näiteks valmistumise põhjalikkusest ja eksamipingest. Kui eksam on kõrge panusega ja eeltest vähem tähtis, võib kõikide nende tegurite osatähtsus samamoodi erineda, s.t eeltestil on sooritus nõrgem kui eksamil.

Sellisel juhul on ka ekspertrühmale tasemepiiride määratlemise ajal esitatud teave mõju kohta kallutatud ning sellel võib olla süstemaatiline mõju määratletud tasemepiiridele – kui ekspertrühma liikmed peavad end selle kallutatud teabe tulemusel liiga rangeks, võib see viia leebemate tasemepiiride kehtestamiseni.

Siinkohal esitatakse mõned soovitused, mida võiks teha eeltesti efekti vältimiseks või kontrolli all hoidmiseks.

Püüdke korraldada eeltest tegelikule eksamile võimalikult ligilähedastes tingimustes. Kui räägite eeltestist nagu päris eksami peaproovist, mille ajapiirangud on päris eksamile ligilähedased ja tähtsus võimalikult suur, võib see testitavate motivatsiooni ja ettevalmistuse muuta eeltestil ja päris eksamil lähedasemaks.

Abi võib olla eeltestile järgnevast lühikesest küsimustikust. Näiteks võib analüüsist välja jätta need õpilased, kelle huvi eeltesti vastu oli väike või kes ütlesid, et neil ei olnud aega ega võimalust selleks põhjalikult valmistuda.

Kui eeltestimine õnnestub kirjeldatud moel mitme aasta vältel, saab eeltesti andmeid ja päris eksami andmeid võrrelda, et eeltesti efekti hinnata. Kui see hinnang püsib aja jooksul üsna stabiilne, võiks ekspertrühma liikmetele eeltesti efekti selgitada ja „korrigeeritud” teavet mõju kohta arutelu käigus tutvustada. Näiteks juhul kui eeltesti efekti näitajaks on hinnatud kaks skooripunkti (s.t keskmine tulemus on päris eksamil eeltestiga võrreldes 2 punkti suurem), võib selle suurusjärgu lisada igale eeltestis saadud skoorile, et arvutada esialgse tasemepiiri abil välja igale tasemele paigutuvate õpilaste osakaal. Loomulikult tuleb sellest

korrigeerimisest (ja selle põhjendustest) ekspertrühma liikmetele rääkida – teabe varjamisest ei võida keegi ja väärinfol võivad olla tõsised tagajärjed.

7.3. Standardimiskoolituse ja tasemepiiride määratlemise toimingute valiidsus

Eelmistes peatükkides kirjeldati mitmesuguseid toiminguid, mille eesmärk oli tutvustada ekspertrühma liikmetele raamdokumenti, aidata neil mõista eksami eristuskirja, määrata kindlaks standardid ja kehtestada tasemepiirid. Ka tasemepiiride määratlemise õpikojad peavad algama selgituste ja juhistega, et ekspertrühma liikmed tunneksid end oma ülesandeid täites kindlalt. Kõiki neid toiminguid võib pidada hea tava

järgimiseks. Nende eiramine seab ohtu kogu töö tulemused. Sellise tegevuskorra järgimist võib pidada heade tulemuste hädavajalikuks eelduseks, otsemini öeldes kinnitab see vana tõde, et tulemus sõltub algmaterjali kvaliteedist.

Valiidsuse probleem on seotud toimingute piisavusega. Tuletades meelde raamdokumendiga tutvumist (3. peatükk) ja standardimiskoolitust (5. peatükk), võib tõdeda, et kui raamdokumendiga tutvumiseks ei toimu mitte mingisugust koolitust, siis ei saa oodata valiidset tulemust. Teisalt aga ei ole siiski mingit tagatist, et soovitatud koolitusprotsessi järgimine annab häid tulemusi – koolitus on vajalik, kuid kas see oli ka piisav? Selle aspekti valideerimiseks on vaja tõendada, et koolitus oli tõhus – kui inimesi õpetatakse midagi mõistma, siis tuleb ka näidata, et nad pärast koolitust asjast tõepoolest aru saavad.

Järgnevalt käsitletaksegi järjekorras mitmeid toimingute valiidsust näitavaid aspekte: selgesõnalisust, otstarbekust, rakendusviisi, tagasisidet ja dokumenteerimist.

Selgesõnalisus. See tähendab seda, kui selgelt ja täpselt olid tasemepiiride määratlemise eesmärgid ja protsessid a priori sõnastatud. Mõte on selles, et kogu protsess räägitakse enne selle algust lahti, etappe kirjeldatakse selgesti ning iga etapi tingimused ja eeldatavad tulemused pannakse paika kindlaksmääratud stsenaariumina.

Selgesõnalisuse mõõdupuu on küsimus, kas planeerimine oli selline, et töö käiku võiks järgida kogu tegevuse tõepärasel kordamisel. Üks viis kontrollida, kas selgesõnalisuse kriteerium on täidetud, on küsida

96

osalejatelt, kas nad mõistsid hästi, milline oli tasemepiiride määratlemise koosoleku eesmärk, ja kui arusaadavalt standardi kehtestamise ülesannet selgitati.

Otstarbekus. Kuigi mõned toimingud on üsna keerukad, peab ettevalmistus olema otstarbekas (vt Berk 1986), et tasemepiiride määratlemise meetodit oleks võimalik rakendada ilma suurte raskusteta ja andmeid saaks analüüsida väga töömahukate arvutusteta. See ei tähenda, et arvutused ei või olla keerukad, kuid ettevalmistav töö, näiteks Exceli arvutustabelite koostamine sobivate valemitega, tuleb korralikult enne õpikodasid ära teha. Toimingud peaksid olema usutavad ja mõistetavad ka teistele inimestele peale

spetsialistide. Üks viis kontrollida, kas teostatavuse kriteerium on täidetud, on küsida osalejatelt, kas koolitus aitas neil tõepoolest aru saada, kuidas oma ülesannet täita.

Rakendusviis. See kriteerium näitab, kui järjepidev ja põhjalik oldi ekspertrühma kokkupanemisel ja koolitamisel, kui hästi raamdokumendi keeleoskustasemed omaks võeti ja kui tõhusalt hindamiseks kasutatud andmetega tegeldi. Kõige selle kohta tuleks esitada teavet.

Tagasiside. See kriteerium on seotud sellega, kui kindlalt ekspertrühm end tasemepiiride määratlemisel tunneb ja kui veendunud on ekspertrühm lõpptulemusena paika pandud tasemepiirides. Kas ekspertrühma liikmed on õnnelikud, et nad jõudsid õige tulemuseni? Selle kõige kohta on vaja koguda ja esitada teavet.

Dokumenteerimine. See kriteerium on seotud sellega, kui hästi tasemepiiride määratlemise protsess on evalveerimiseks ja teabe edastamiseks dokumenteeritud.

7.4. Tasemepiiride määratlemise sisemine valiidsus

Sisemist valiidsust puudutavate küsimustega püütakse saada vastus, kas tasemepiiride määratlemise tulemused olid täpsed ja järjepidevad. Järjepidevuse puudumine võib olla tingitud rakendatud meetodi üldisest nõrkusest või seotud ühe või kahe hindaja või paari küsimusega. Kui nõrk koht peitub hindajates või küsimustes, võib kaaluda mõne rühmaliikme väljajätmist kogu protsessist (või sellele järgnevast analüüsist) või tugineda sidumisel nendele testiküsimuste ja -ülesannete komplektidele, mille hulgast on probleemsed testiküsimused välja jäetud.

• Hindajate väljajätmisel tuleb jälgida, et see ei kallutaks tasemepiiride määratlemise tulemust korraldaja soovitud suunas. Kui on tõendeid, et ekspertrühma liige ei mõistnud tööülesandeid või eiras neid tahtlikult, võib see olla õigustus, et jätta tema andmed analüüsist välja. Selliseid tõendeid on võimalik saada õpikodadejärgsetest vestlustest ja hästi koostatud küsimustikust. Väljajätmise peaks korralikult dokumenteerima ning lõpparuandes tuleks ära märkida, kui paljud ekspertrühma liikmed ja miks välja jäeti.

• Testiküsimuste või -ülesannete väljajätmine nõuab veelgi suuremat hoolikust. Kui eksami põhieesmärk on raamdokumendiga sidumine, s.t kui tulemus „mittearvestatud” tähendab seda, et eksaminand ei ületa tasemepiiri B1/B2, võib teatud küsimuste väljajätmine testi sisuvaliidsust tõsiselt kallutada. See omakorda võib tekitada eetilisi probleeme, sest õpilastel lastakse teha eksamiks ettevalmistusi, mis osutuvad osaliselt tühjaks tööks. Kui aga sidumist raamdokumendiga peetakse eksami lisaväärtuseks, võib olla põhjendatud küsimuste väljajätmine sidumisuuringust, ent nende sissearvamine eksaminandide tulemuste analüüsi.

Alljärgnevalt käsitletakse järgmisi teemasid, mis on seotud järjepidevuse ja täpsusega:

• hindaja järjepidevus, s.t püütakse leida kinnitust, et hindaja on oma hinnangutes järjepidevalt arvesse võtnud teisi teabeallikaid, mis tal testi kohta olemas on;

• hindamise järjepidevus, s.t uuritakse, mil määral langevad ekspertrühma liikmete hinnangud kokku;

97

• tulemuste stabiilsus, mida väljendatakse tasemepiiride standardveana;

• tasemepiiride määratlemisel põhineva tasemepaigutuse täpsus ja järjepidevus.

Mitte kõiki järjepidevuse kontrollimiseks pakutud võtteid ei ole võimalik eelmises peatükis käsitletud tasemepiiride määratlemise meetodite puhul rakendada. Seetõttu kasutame praktilise näitena Tuckeri-Angoffi meetodi kohandatud varianti ja lisame vajaduse korral märkusi teiste meetodite kohta.