Üldpõhimõtted

Igasuguse tasemepiiride määratlemise protsessi oluline osa on koosolekute tõhus korraldamine. Tavaliselt moodustavad raamdokumendiga tutvumise, eristuskirja koostamise ja standardimise etapid või nende osad, mida on käsitletud käsiraamatu eelmistes peatükkides, selles peatükis kirjeldatud tasemepiiride määratlemise

57

protsessiga ühtse terviku (kitsamas tähenduses). Seetõttu on kogu töö üsna keeruline ja selle korraldus peab olema tõhus. Cizek & Bunch (2007) tutvustavad seda oma teose esimestes peatükkides suurepäraselt. Selles osas pööratakse seega tähelepanu üksnes tasemepiiride määratlemisele endale ning muudest sellega

kaasnevatest toimingutest antakse vaid põgus ülevaade.

6.2.1. Korraldus

Tasemepiiride määratlemisele ekspertrühmas kulub tavaliselt kaks või kolm päeva. Alustatakse ühe või mitme õpikojaga, kus tutvutakse raamdokumendiga, sellele järgneb arutelu testi eristuskirja üle, koolitus näitlike materjalidega ning seejärel jõuab kätte tähtis etapp, mil kõik ekspertrühma liikmed teevad ise läbi vaatlusalustest küsimustest koosneva testi. Pärast teemakohast sissejuhatust annavad ekspertrühma liikmed oma hinnangud, tavaliselt kahes või kolmes voorus. Voorude vahel toimuvad arutelud, antakse tagasisidet ja lisateavet.

Voorudevahelistes õpikodades jagatakse eelkõige kahesugust teavet. Pärast esimest vooru räägitakse ekspertrühma liikmete endi käitumisest ja näidatakse, et osa liikmeid andis keskmisest väga erinevaid hinnanguid. Sedalaadi teavet nimetatakse normatiivseks teabeks. Selle tegevuse eesmärk on tuvastada eeskätt juhiste vääritimõistmine ja aidata ekspertrühma liikmetel juhistest õigesti aru saada. Hea tava on lasta

ekspertrühma liikmetel arutada seda teavet väikestes rühmades. Arutelu terve suure ekspertrühmaga hõlmab ohtu, et rühma liikmed võivad hakata kalduma ühe või mitme domineeriva isiksuse arvamuse poole (vt osa 5.4.1 soovitusi). Rühma juhi ülesanne on suunata arutelusid selliselt, et liikmed ei tunneks endal sellisest käitumisest tulenevat survet.

Pärast teist vooru antakse tavaliselt muud laadi teavet, mida nimetatakse teabeks mõju kohta. Sellega näidatakse ekspertrühma hinnangute tagajärgi. Arvutatakse välja nende õppurite osakaal, kes oleksid eelmises voorus määratletud esialgsete tasemete alampiiride põhjal standarditeni küündinud või mitte küündinud. See eeldab aga esindusliku õpilasvalimi skooride olemasolu.

Eelmine lõik võib mõnes mõttes segadusse ajada. Tasemepiiride määratlemisel selle peatüki tähenduses vaadeldakse testisooritust üksnes kriteeriumipõhiselt: pädevatel hindajatel palutakse sõnastada

(testisoorituse) miinimumnõuded, mis on vaja täita selleks, et lugeda eksam arvestatuks või paigutada testitav näiteks B2-tasemele. Hindajatelt eeldatakse mingi üldise süsteemi (antud juhul raamdokumendi põhimõtete) rakendamist konkreetse testi või eksami suhtes. Seetõttu võiks arvata, et pole vahet, kas eksami sooritavad mingi üldkogumi testitavatest 10% või 90%. Kuid unustada ei tohiks, et tasemepiirid

määratletakse kõrge panusega eksamite jaoks tavaliselt sotsiaalsest ja sageli ka poliitilisest kontekstist lahutamatult, ja seetõttu on kasulik näidata ekspertrühma liikmetele, millised on nende otsuste sotsiaalsed tagajärjed. Võib juhtuda, et kui ekspertrühma liikmed on saanud sellist teavet mõju kohta, muudavad mitmed neist meelt ja kujundavad oma hinnangu oludest lähtudes varasemast rangemaks või leebemaks. Kui nii juhtub, ei tähenda see ilmtingimata, et see muutunud arvamus on lõplik. Vastupidi – sedalaadi teabe andmisele järgnenud suuri nihkeid tasemepiirides tuleks kasutada põhjalike aruteludelähtekohana, et leida põhjendatud ja mõistlik kompromiss kahe väga erineva rühmasisese otsuse vahel. See võib olla piisav põhjus, et korraldada neljas hinnangu andmise voor.

Tuleb meeles pidada, et sellise normatiivse ja mõju käsitleva teabe süstemaatiline esitus nõuab hulganisti ettevalmistusi. Siis saab tõhusalt teha järgnevad (ekspertrühma hinnangutest sõltuvad) arvutused (näiteks lõunapausi ajal), nii et see teave on järgmises voorus olemas.

Peaaegu kõigi erialakirjanduses kirjeldatud tasemepiiride määratlemise meetodite puhul on katsetatud eri variante, mida on kohandatud konkreetsete vajadustega või milles on lähtutud varasemate variantide

puudustest. Mõnel juhul kirjeldatakse sisuliselt sama protsessi, kuid erinevus võib seisneda hindamisvoorude arvus, arutelude korralduses (arutelud kõigiga koos või väikestes rühmades) jne. Ühegi variandi puhul ei ole

58

mingit tarvidust järgida kõiki kirjeldatud üksikasju ning kasutada võib konkreetsete olude jaoks sobivamaid variante. Peatüki ülejäänud osas ei käsitleta vormilisi üksikasju ega võimalikke erinevusi. Kõigile

meetoditele ühiseid tunnuseid peetakse kõige olulisemaks.

Otsuse tegemine eri projektide raames kohaldatavate meetodite valiidsuse ja tõhususe kohta eeldab, et kõigi etappide kohta on olemas piisavad dokumendid ja kõik vormilised üksikasjad on teada. Vastasel juhul on tulemustele keeruline professionaalset hinnangut anda ja samuti ei saa väita, nagu oleks toimunud arutelu.

6.2.2. Mõisted

Et tasemepiiride määratlemist ei ole võimalik õigesti läbi viia lihtsalt mehaaniliselt mingit meetodit järgides, tutvustatakse selles peatükis mõningaid olulisi mõisteid, millega erinevate tasemepiiride määratlemise meetodite puhul kokku puututakse. Need mõisted on:

• Tõenäosushinnangud;

• valdamise tõenäosus ehk vastuse tõenäosus;

• osaliselt õigeks hindamine;

• IRT-ga seotud mõisted (raskusparameeter, raskus, eristusjõud);

• otsustustabelid;järjestatud testiküsimuste kogumik;

• lävepiirkond.

Loetletud mõisteid on abstraktselt raske selgitada. Seetõttu tutvustatakse neid selles peatükis sedamööda, kuidas nad konkreetse meetodi kirjeldamisel ette tulevad. Mõistete tutvustamise järjekorra mõte on üksnes aidata kasutajal mõistete arengut jälgida. Sellega ei ole kindlasti kavas vihjata, et varem nimetatud meetodid oleksid millegi poolest halvemad. Peatükis tutvustatakse erinevaid tasemepiiride määratlemise meetodeid, mille seast on võimalik teha oma valik. Et tasemepiiride määratlemise kontekstid on aga erinevad, ei eelistata neist ühtegi teistele.

Vahel jagatakse tasemepiiride määratlemise meetodid testikeskseteks ja eksaminandi-keskseteks.

Viimatinimetatutest tulevad siinkohal käsitlemisele kolm. Vastanduvate rühmade meetodi ja piiripealse rühma meetodi korral hindab testitavaid vahetult hindaja, kes tunneb neid hästi. Terviktööde meetodi puhul palutakse hindajatel anda üldhinnang keeleõppijate valimi kogu töö kohta, mida kasutatakse testi või eksami skoori kindlakstegemiseks. Hinnangu andmise aluseks võivad olla valikvastustega küsimuste vastused, loovvastustega küsimuste vastused või laiemalt ka esseed või isegi terve tööde mapp. Eksaminandikesksete meetodite oluline omadus on see, et konkreetsed eksaminandid rühmitatakse üldhinnangu alusel (nende tulemus loetakse arvestatuks või mittearvestatuks, B1- või B2-tasemele kuuluvaks või piiripealseks juhtumiks).

Vanemate meetodite, nt Tuckeri-Angoffi või Nedelsky meetodi¹⁶puhul palutakse ekspertrühma liikmetel anda hinnang igale testiküsimusele. Need hinnangud tuginevad eeldatavatele omadustele, mille ekspertrühma liikmed küsimustele omistavad, ning kogu protsess on võimalik läbida ilma, et oleks vaja empiirilisi andmeid vastavat testi sooritavate testitavate kohta. Sellisel puhul on termin „testikeskne” tõepoolest asjakohane. IRT üha suurema populaarsuse tõttu on aga välja töötatud ka selliseid meetodeid, kus eksaminandi-kesksete ja testikesksete meetodite vahe ei ole enam nii selge. Nende meetodite puhul on ekspertrühma liikmete käsutuses teave, mis on saadud vahetult testitavate rühma sooritusest. Tavaliselt on selline teave esitatud hinnanguna küsimuse raskuse kohta. Sellise teabe kättesaadavus peab aitama ekspertrühma liikmeid ja vabastama nad keerulisest ülesandest esitada raskuse kohta hinnanguid üksnes küsimuse eeldatavate tunnuste alusel.

16 Tõenäoliselt on tegemist vanima standardi kehtestamise meetodiga. Käsiraamatus seda ei käsitleta. Põhjaliku ülevaate on andnud Cizek & Bunch (2007, 4. peatükk).

59

Peatükis käsitletud meetodid võib seega jagada kolme rühma. Esimesse rühma kuuluvad

eksaminandikesksed (EKM) meetodid, teise testikesksed meetodid (TKM) – selles mõttes, et neid on

võimalik kohaldada ilma empiiriliste andmeteta testi sooritamise kohta –, ning kolmandasse IRT-l põhinevad mudelid, s.t meetodid, milles ekspertrühma liikmed kasutavad empiiriliste andmete kokkuvõtet (mis

tavaliselt esitatakse IRT-analüüsi kaudu).

Tabelis 6.1 loetletakse käsitletavad meetodid ning märgitakse ära nende ülalkirjeldatud liigitus ja käsiraamatu osa, kus neid tutvustatakse. Osas 6.10 puudutatakse mõnda eriküsimust.

Tasemepiiride määratlemise kvaliteet võib suuresti kõikuda. Ükskõik milline meetod või meetodite

kombinatsioon kasutusele võetakse, ei saa tasemepiiride määratlemist nõuetekohaseks lugeda ainuüksi selle pärast, et ettenähtud toimingud on tehtud. Vaja on koguda tõendid toimingute tulemuste kvaliteedi kohta ning esitada need andmed piisavalt üksikasjalikult ja läbipaistvalt. Valiidsusega seotud teemasid käsitletakse põhjalikumalt käsiraamatu viimases peatükis.

Tabel 6.1. Käsitletavate meetodite ülevaade

Meetod Osa Liigitus

Tuckeri-Angoffi meetod 6.3. TKM

Jah-ei-meetod 6.4.1. TKM

Laiendatud variant Tuckeri-Angoffi meetodist 6.4.2. TKM

Vastanduvate rühmade meetod 6.5.1. EKM

Piiripealse rühma meetod 6.5.2. EKM

Terviktööde meetod 6.6. EKM

Küsimuse ja kirjelduskriteeriumi sobitamise meetod 6.7.1. TKM

Korvimeetod 6.7.2. TKM

Järjehoidja meetod 6.8. ÜVT

Järjehoidja meetodi CITO variant 6.9. ÜVT