Tasemepiiride määratlemine ja testide võrdsustamine

Et tasemepiiride määratlemine on üsna kallis ettevõtmine, tasuks uurida, millised on võimalused suurt osa tööst vältida. See on kindlasti võimalik regulaarsete eksamite puhul, kus testi eristuskiri jääb aasta-aastalt suuresti muutumatuks.

Kui eksami ühe aasta versiooni jaoks on tasemepiirid juba korralikult määratletud, võib selle tulemused järgmisele (näiteks järgmise aasta) versioonile üle kanda, kohaldades metoodikat, mida nimetatakse testide võrdsustamiseks.²⁵ Üldjoontes tähistab testide võrdsustamise mõiste kogumit meetoditest, mille

kohaldamisel määratakse ühe testi igale skoorile samaväärne skoor teises testis. Oletagem, et esimese aasta eksamil on tasemepiiri A2/B1 skooriks määratud 35. Kui järgmise aasta eksami puhul on skooriga 35 samaväärseks skooriks määratud 37, tähendab see automaatselt, et selle aasta tasemepiiriks on 37.

Testide võrdsustamisel tuleb hoolikalt arvesse võtta kaht aspekti. Esimene on peaaegu puhtalt tehnilist laadi, teine seevastu kontseptuaalne.

Võrdsustamismetoodika rakendamiseks on oluline, et eksamit sooritavate õpilaste valimid oleksid mingil moel võrreldavad. Selline võrreldavus saavutatakse siis, kui mõlemas eksamis kasutatakse samu

testiküsimusi või kui kaks valimit on statistiliselt samaväärsed. Kumbagi neist viisidest ei ole eksamites lihtne rakendada. Tavaliselt ei ole eelmise aasta eksamit võimalik järgmisel aastal korrata salastatuse pärast.

Valimite samaväärsust on aga keeruline saavutada seetõttu, et õpilasi ei ole tavaliselt võimalik juhuslikkuse põhimõttel määrata üht või teist eksamit sooritama. Kui ühel aastal on sihtrühm pisut võimekam, võib tulemuseks olla see, et selle aasta eksam näib lihtsam, kui see õigupoolest on. Kui seda ei tunnistata ja kaht sihtrühma peetakse sama võimekaks, toob see kaasa rangete tasemepiiride määratlemise.

IRT-analüüsi kasutamine eeldab samamoodi, et kaks eksamit oleksid mingil moel ankurdatud, see tähendab, et mõlema eksami mingid osad oleksid sama õpilasvalimiga läbi tehtud. (Täpsem teave on kaasande

abimaterjalis, osas G; vt ka käsiraamatu osa 7.2.3.)

Kontseptuaalne probleem on seotud mõlema eksami konstruktivaliidsusega. Olgugi et sama eristuskirja kasutamine on samaväärsete konstruktide saamiseks mõistlik, ei pruugi sellest piisata, sest keegi ei mõista täielikult keeleeksamiga mõõdetavate konstruktide olemust. Siinkohal võib olla abikompleksse testi mõõtmelisuse uurimise metoodikast, näiteks faktoranalüüsist (vt abimaterjal, osa F).

Kindlaim viis tagada võrdsustamise teel üle kantud tasemepiiride valiidsus on viia uue eksami puhul siiski läbi tasemepiiride määratlemine. Nii saab kontrollida, kas tasemepiirid, mis saadi ülekandmisel testide võrdsustamise kaudu, vastavad tõesti sõltumatute eksperthindajate määratletud tasemepiiridele.

25 Hea ülevaate on andnud Kolen & Brennan (2004).

87 6.10.3. Keelteülene tasemepiiride määratlemine

Eksamite sidumisel raamdokumendiga on arvatavasti kõige keerukam leida meetodid, millega tõendada, et eri keelte eksamid on võrreldavalt seotud ühtse standardiga.

Ehkki teoreetiliselt on võimalik viia kaks eksamit läbi eri keeltes ühe ja sama õpilastevalimiga, eeldaks see, et igal valimisse kuuluval õpilasel on samasugune keeleoskus mõlemas keeles, ja see on ilmselgelt võimatu.

Seetõttu tuleb leida meetodid, milles eeldatakse, et õpilane on sooritanud vaid ühe kahest eksamist ja milles suhtutakse õpilase sooritusse eri keeltes nii nagu omavahel mitte seotud eksaminandide sooritustesse.

Et siduda mõlemad eksamid raamdokumendiga, võib appi võtta mitmekeelsed ekspertrühma liikmed, kes suudavad anda usaldusväärseid hinnanguid testiküsimustele (testikesksete meetodite puhul) või õpilaste sooritustele mõlemas keeles. Viimasel juhul võib hea lahendus olla terviktööde meetod. Testikesksete meetodite puhul võib põhimõtteliselt kasutada kõiki lahendusi, milles ei eeldata kalibreerimist IRT järgi.

IRT-l põhinevad meetodid ei toimi, sest mõlemaid eksameid ei ole võimalik samale skaalale paigutada.

Nimelt ei ole nende ülesehitus seotud samade inimeste (vt eestpoolt) või samade testiküsimuste kaudu.

Et selline keelteülene tasemepiiride määratlemine on suhteliselt uus²⁶, tuleb silmas pidada mitut selle meetodi valiidsust mõjutavat ohtu. Olgu siinkohal nimetatud mõned aspektid, millele tuleks tähelepanu pöörata.

• Et ekspertrühma liikmete eest on testi keelt võimatu varjata ja seega on nn pimehinnangu andmine võimatu, on oluline, et kahe keeletesti puhul ei oleks konstruktis liialt palju süstemaatilisi erinevusi, sest ekspertrühma liikmed ei tohiks kasutada kahe keele puhul eri konstrukte. Seetõttu tuleks tagada kahele eksamile või testile samasugune või väga sarnane eristuskiri.

• Samuti tuleb hoolikas olla ekspertrühma kokkupanemisel, et mõlema keele valdajad oleksid hästi tasakaalus. Kui testid on inglise ja prantsuse keeles, tuleb põhjalikku tähelepanu pöörata ekspertrühma liikmete keele- ja haridustaustale. Näiteks pooled võiksid olla need, kes räägivad emakeelena inglise keelt, ja pooled need, kes räägivad emakeelena prantsuse keelt, või tuleks tasakaal saavutada peamises hindamisülesandes, nii et pooled ekspertrühma liikmed oleksid prantsuse keele õpetajad, kellel on piisavad teadmised inglise keelest, ja pooled inglise keele õpetajad, kes valdavad piisavalt prantsuse keelt.

• Samasugust tasakaalu tuleb hoida aruteludeks moodustatavates väiksemates ekspertrühmades.

• Sama põhimõtte järgi tuleks tasakaalustatult esitada ka hinnatavat materjali (olgu tegemist sooritusnäidiste või testiküsimustega), pidades silmas nii järjestust kui ka sisu.

• Standardimiskoolituse ajal tuleks jälgida, et kõik ekspertrühma liikmed kohaldaksid iga keele puhul samu norme. Erisuguste pedagoogiliste kultuuridega seotud traditsioonid, tugimaterjalid ja

terminoloogilised erinevused võivad põhjustada süstemaatilisi moonutusi. On ülimalt tähtis, et

ekspertrühma liikmed kasutaksid ametlikke kriteeriume ja standardeid ning viitaksid neile ega tugineks varem välja kujunenud isiklikele normidele.

• Töö käik tuleb üksikasjalikult dokumenteerida ja võimaluse korral tuleks kakskeelse tasemepiiride määratlemiseprotsessi tulemusi võrrelda emma-kumma keele tasemepiiride määratlemiseprotsessi tulemustega, mille on kogunud sõltumatud ekspertrühma liikmed.

26 Raamdokumendi sooritusnäidiste keelteülese standardimisseminari korraldas CIEP 23.–25. juunil 2008 Sèvres’is. Mitmekeelsed ekspertrühmad paigutasid seal inglise, saksa, prantsuse, itaalia ja hispaania keelt kõnelevate prantslastest teismeliste sooritusnäidised raamdokumendi keeleoskustasemetele. Aruandega saab tutvuda Euroopa Nõukogu veebilehel (www.coe.int/lang).

88 6.11. Kokkuvõte

Peatükis anti ülevaade mitmest tasemepiiride määratlemisemeetodist, kuid see ülevaade ei ole kaugeltki ammendav. Põhjalikumat teavet saab abimaterjalist, osast B. Samuti on Brian Northi ja Neil Jonesi lisamaterjalides tutvustatud veel meetodeid, milles kasutatakse õpetajate hinnanguid ja IRT-d, et hõlmata sidumisuuringusse mõni väliskriteerium. Selles peatükis oli rõhuasetus keeleoskuse testimiseks ja raamdokumendiga sidumiseks valitud meetodite teostatavusel ja sobilikkusel ning põhjalikul arusaamisel põhimõistetest.

Loomulikult on nende meetodite kohaldamise ajal ja ka hiljem vaja teha kvaliteediseiret, milles tuleks keskenduda järgmistele küsimustele:

• Kas tasemepiiride määratlemiseprotsessil oli kavandatud mõju? Asjakohane on küsida, kas koolitus oli tõhus, kas ekspertrühma liikmed tundsid, et neil on vabadus järgida omaenda arusaamu. Need küsimused on seotud toimingute valiidsusega.

• Kas ekspertrühma hinnangud on usaldusväärsed? Kas iga ekspertrühma liige oli eri ülesannete läbitegemisel järjekindel? Kas ekspertrühma liikmed olid oma hinnangutes üksteisega võrreldes järjekindlad ja mil määral võib koondtasemepiire pidada lõplikuks tasemepiirideks? Kas ekspertrühma liikmete hinnangutes ja testiskoorides kajastuvad mõõtmisvead? Need küsimused ja nendele antavad vastused näitavad tasemepiiride määratlemisesisemist valiidsust.

• Kõige olulisem küsimus on aga järgmine: kas tasemepiiride määratlemisetulemused – õpilaste

paigutamine testiskoori põhjal raamdokumendi keeleoskustasemele – on usaldusväärsed? Vastus sellele saadakse sõltumatutest tõenditest, mis kinnitavad asjaomase tasemepiiride määratlemiseprotsessi tulemusi. Sellele küsimusele peavad vastama kõik, kes sellist protsessi kasutavad, ning täpselt seda valideerimise all ka silmas peetakse. Sellised tõendid võivad pärineda eri allikatest, näiteks:

− ristvalideerimine – tasemepiiride määratlemiseprotsessi kordamine sõltumatu ekspertrühmaga;

− täiendav tasemepiiride määratlemine– sõltumatu tasemepiiride määratlemiseprotsessi läbiviimine teistsuguse, vastava konteksti jaoks sobiva meetodiga;

− väline valideerimine – sõltumatu uuringu korraldamine eesmärgiga kontrollida tasemepiiride määratlemisetulemusi väliskriteeriumiga võrdlemise kaudu. Väliskriteeriumiks võib olla sama osaoskust/samu osaoskusi hõlmav test, mille puhul on teada, et see on usaldusväärselt

raamdokumendi keeleoskustasemele kalibreeritud. Väliskriteeriumiks võivad olla aga ka raamdokumendi kirjelduskriteeriumeid tundvate õpetajate või õpilaste hinnangud.

Kõiki neid teemasid käsitletakse osas 7.5.

Käsiraamatu kasutajad võiksid mõelda:

• kas tasemepiiride määratlemisel on vaja asjatundjate tuge või lisamaterjalidega tutvumist;

• milline meetod /millised meetodid on vastavas kontekstis kõige sobilikumad;

• kas kasutada meetodit, milles hinnatakse üksikute küsimuste raskust (nt küsimuse ja kirjelduse sobitamise meetod või korvimeetod), või meetodit, milles hinnatakse tasemepiiri katseeksami mingil skaalal (nt järjehoidja meetod või terviktööde meetod);

• kas võiks kasutada kahte meetodit, et valideerida vastastikku nende tulemusi;

• kuidas antakse ekspertrühma liikmetele nn normatiivset tagasisidet nende käitumise kohta pärast esimest vooru; kas on võimalik kasutada elektroonilist arvamuste avaldamist²⁷;

• kas tasemepiiride määratlemisekäigus on võimalik tugineda IRT-le tuginevatele hinnangutele küsimuse raskuse kohta või tuleb kasutada kergusindeksit;

• millise teabe esialgse tasemepiiride määratlemisemõju kohta võiks teha kättesaadavaks hilisemates voorudes;

• millist tuge võib valitud meetodite kohaldamisel vaja minna.

27 Teave elektroonilise arvamuste avaldamise kohta: vt Lepage & North (2005).

89

7. peatükk