Tehnilised üksikasjad

Vastuse tõenäosuse väärtus järjehoidja meetodi puhul

Küsimuse ja kirjelduse sobitamise meetod ja järjehoidja meetod on välja töötatud IRT kohaste kalibreeritud testide kontekstis ja tavaliselt rakendatakse nende puhul kalibreerimistulemusi. Selgitame seda lihtsaima näitega kahendvalikuga küsimustest, mis on kalibreeritud Raschi mudeliga. Täpsed andmed osahindega küsimuste kohta on esitanud Cizek & Bunch (2007, 10. peatükk).

Raschi mudelis on üksikvastuste funktsioon esitatud järgmiselt:

exp( )

kus

β

_i on küsimuse i raskusparameeter. (Selle väärtus saadi kalibreerimise tulemusel.) Kõigepealt kaalume juhtumit, kus võimekuse väärtus võrdub küsimuse raskusega, s.t

θ β =

_i. Sellisel juhul võib võrrandit (1) väljendada järgmiselt:

Järelikult on raskusparameetriga võrdse latentse võimekuse väärtuse puhul õige vastuse tõenäosus täpselt 0,5, ja vastupidi, kui vastuse tõenäosuseks määratakse väärtus 0,5, on valdamiseks vajalik võime võrdne küsimuse raskusparameetriga.

Kui vastuse tõenäosuse väärtuseks valitakse midagi muud, näiteks p, siis tuleb leida

θ

väärtus selliselt, et

exp( )

Sealjuures ln on naturaallogaritm. Kui p = 2/3, saame (2/3) / (1/3) = 2 ja ln(2) = 0,693, ning sellest omakorda saame * = +_,+ 0,693. See on skaalaväärtus, mis kirjutatakse järjestatud testiküsimuste kogumikku

saavutustaseme väärtusena (vt osa 5). Tähele tuleb panna, et vastuse tõenäosuse näitaja nihutamisel väärtuselt 1 väärtusele 2/3 (valdamise nõue) suureneb skaalaväärtus 0,693 logitit. Kui kehtestada valdamiskriteeriumiks ehk vastuse tõenäosuseks väärtus 3/4, on suurenemine ln(3) = 1,098 ja vastuse tõenäosuse 4/5 korral on suurenemine ln(4) = 1,386.

81 Esialgne tasemepiir järjehoidja meetodi rakendamisel

Näitlikustamise eesmärgil on tabelis 6.9 esitatud mõned leheküljenumbrid koos saavutustasemega vastuse tõenäosuse 0,5 korral (teine veerg) ja vastuse tõenäosuse 2/3 korral (kõige parempoolsem veerg). Erinevus nende kahe veeru vahel on ln(2) = 0,69. Oletagem, et vastuse tõenäosus on 0,5 ja üks ekspertrühma liige on pannud tasemepiiri A1/A2 järjehoidja lehekülgede 13 ja 14 vahele. See näitab, et selle ekspertrühma liikme arvates valdab piiripealne isik (kui vastuse tõenäosus on 0,5) küsimusi 1–13, kuid mitte enam küsimust 14.

See omakorda tähendab, et piiripealse isiku saavutustase (latentne võimekus) peab jääma vahemikku –1,84 ja –1,63. Tavaliselt võetakse selle ekspertrühma liikme esialgseks tasemepiiriks kahest väärtusest väiksem.

Pange tähele, et see esialgne tasemepiir on väärtus latentsel skaalal. Et jõuda kogu ekspertrühma skaalani, koondatakse selle liikmete esialgsed tasemepiirid (arvutades nende (tasandatud) keskmise või mediaani) nii, et ekspertrühma tasemepiir oleks samuti väljendatud väärtusena latentsel skaalal.

Latentse skaala piiripunktidele vastavate tasemepunktide kindlaksmääramine järjehoidja meetodi rakendamisel

Lihtsaim viis teisendada latentsele skaalale paigutatud tasemepiirid skoorina väljendatud tasemepiirideks on kasutada tabelit, milles on kõigile testi võimalikele skooridele määratud hinnanguline latentne väärtus. Üks selline näide on esitatud tabelis 6.10. Oletagem, et varitunnuste skaalal on tasemepiiriks –1,35. Tabelist võib näha, et skoori 9 (õigesti vastatud küsimuste arv) hinnanguline latentne väärtus on –1,409, mis on väiksem kui tasemepiiril; seevastu skoori 10 hinnanguline väärtus on 1,257, s.t tasemepiiri omast suurem. Selle tulemuseks on tasemepiir, mis jääb 9 ja 10 vahele, ning see väärtus tuleb ümardada, võttes arvesse kõiki valepositiivsete ja valenegatiivsete tulemustega seotud kaalutlusi, nagu osas 6.3.4 on selgitatud.

Tabel 6.9. Järjehoidjad ja saavutustasemed Lehekülg Saavutustase,

kui vastuse tõenäosus on 0,5

Saavutustase, kui vastuse tõenäosus on 2/3

… … …

11 –2,13 –1,44

12 –2,11 –1,42

13 –1,84 –1,15

14 –1,63 –0,94

15 –1,48 –0,79

… … …

19 –1,32 –0,63

20 –1,20 –0,51

21 –1,03 –0,34

… … …

82

Tabel 6.10. Hinnanguline teetaväärtus Skoor

Oluline küsimus on aga, millist latentse muutuja hinnangulist väärtust tuleks kasutada. Abimaterjalis, osas G.7 käsitletakse mitmeid hinnangulisi väärtusi ja sealt ilmneb, et suurim tõenäosushinnang võib olla väga kallutatud. Seetõttu on mõttekas – vastupidi sellele, mida soovitavad Cizek ja Bunch²³ – kasutada Warmi hinnangufunktsiooni. See on eriti oluline siis, kui skoorina väljendatud tasemepiir on juhtumisi väga äärmuslik, s.t suhteliselt madal või suhteliselt kõrge.

Lisaprobleem küsimuse ja kirjelduse sobitamise meetodi puhul

Järjehoidja meetodi rakendamisel tuleb vastuse tõenäosusväärtust ekspertrühma liikmetele tutvustada ja täpselt selgitada. See on oluline, sest mida suurem on vastuse tõenäosus, seda rangem on tasemepiir, ning ekspertrühma liikmed peavad olema sellest hästi teadlikud.

Küsimuse ja kirjelduse sobitamise meetodis seevastu ei ole sellel mõistel tähtsust, sest ekspertrühma liikmed peavad üksnes ära märkima, millisele tasemele (A1, A2 jne) iga küsimus kõige paremini sobib. Tabelis 6.9 (kolmandas veerus) esitatud raskusest ei saa järeldada, kas tegemist on raskusparameetrite või

saavutustasemega vastuse tõenäosuse mingi muu väärtuse korral kui 0,5. Nagu eespool öeldud, ei ole need arvud ekspertrühma liikmete hindamisülesande seisukohast kasulikud muuks kui vihjamiseks, et küsimused on reastatud raskuse järgi. Kuid niipea kui lävepiirkond on kindlaks määratud, omandavad need arvud keskse tähtsuse, sest neid kasutatakse selleks, et määrata kindlaks esialgne lävi (iga ekspertrühma liikme jaoks), ja lõppkokkuvõttes ka selleks, et arvutada välja kogu rühma tasemepiir.

Viies läbi mõttelise eksperimendi hästi koolitatud ekspertrühma liikmetega, kes on jagatud kaheks, näeme, milles probleem on. Ühe rühma puhul võrduvad märgitud raskused raskusparameetritega, mis on tuvastatud Raschi mudeli kohase kalibreerimise käigus. Teise rühma puhul on raskused võrdsed raskusparameetritega, millele on lisatud ln(2), mis vastab vastuse tõenäosusele väärtuse 2/3 juures. Et ekspertrühma liikmete põhiülesanne on keskenduda testiküsimustes sisalduvate eelduste ja raamdokumendi tasemete sobitamisele, võib arvata, et lävevahemikud ei näita süstemaatilisi erinevusi kahe rühma vahel ning seda ei mõjuta iga küsimuse juures näidatud arvude skaala. Kuid raskuse põhjal arvutatud tasemepiiride väärtuste erinevus on kahe rühma puhul ligikaudu 0,693 (= ln(2)). Üldisemalt öeldes tähendab see, et määratletud tasemepiirid on suuresti meelevaldsed ja sõltuvad sellest, milliseid väärtusi parasjagu raskusena esitatakse.

23 Erialakirjanduses soovitatakse latentsete väärtuste skoorideks teisendamisel kasutada testi tunnuse funktsiooni. Raschi mudeli ja kahe parameetri mudeli puhul on see teisendus aga samasugune kui suurima tõenäosuse hinnangu kasutamisel. Arvutiprogrammis OPLM (One Parameter Logistic Model), mille saamiseks tuleb saata e-kiri aadressil norman.verhelstito.nl, on uusimad hinnangud esitatud vaikimisi.

83 6.9. Järjehoidja meetodi CITO variant

Järjehoidja meetod võib muutuda keerukamaks, kui küsimuste eristusjõud ei ole võrdselt hea (ja sageli kipub see nii olema). Lihtne näide kahe küsimusega on esitatud joonisel 6.4, kus parema eristusjõuga küsimus on tähistatud katkendjoonega. Mõlemad kõverad väljendavad üksikvastuse funktsioone – need seovad latentse võimekuse (horisontaaltelg) õige vastuse saamise tõenäosusega (vertikaaltelg).

Joonis 6.4. Ebavõrdse eristusjõuga küsimused

Kui kasutada järjehoidja meetodit vastuse tõenäosusega 0,5 (vasakpoolses kastis), on katkendjoonega väljendatud testiküsimusel järjestatud testiküsimuste kogumikus teisest küsimusest suurem leheküljenumber (seda peetakse kahest variandist raskemaks), vastuse tõenäosuse 0,75 korral (parempoolne kast) kehtib aga vastupidine: katkendjoonega väljendatud küsimus on kahest variandist kergem. See tõendab, et

„testiküsimuse raskus” ei ole lihtne mõiste ja küsimuste raskusjärjestuse esitamine pelgalt arvude abil võib ekspertrühma liikmeid segadusse ajada.

CITO (van der Schoot 2001) väljatöötatud meetodi eesmärk on esitada kõikide küsimuste raskus ja

eristusjõud graafiliselt üheskoos. Vaadakem joonisel 6.4 kõige väiksema eristusjõuga küsimust. Kui vastuse tõenäosus on 0,5, on valdamiseks vajaliku võime väärtus 0; kui vastuse tõenäosus on 0,75, on valdamiseks vajaliku võime väärtus ligikaudu 1,1. Kui õige vastuse tõenäosus on 50%, võiks seda nimetada „piiripealseks valdamiseks”, samas kui 75% tõenäosust võiks kirjeldada kui „täielikku valdamist”. Et jõuda piiripealse valdamise tasemelt täieliku valdamiseni, peab võime suurenema väärtuselt 0 väärtuseni 1,1. Seda on

võimalik graafiliselt kujutada niisugusel joonisel nagu 6.5, mis annab ülevaate 16 testiküsimusest ja sisaldab teavet iga küsimuse raskuse ja eristusjõu kohta. Iga küsimust kujutatakse horisontaalse joonekesega. Joone vasak ots vastab küsimuse raskusparameetrile (vastuse tõenäosus = 0,5) ja selle pikkus väljendab küsimuse eristusjõudu. Mida pikem on joon, seda väiksem on selle eristusjõud. Joone parem ots vastab suuremale vastuse tõenäosusele, see võib olla näiteks 0,75 või 0,80. Joonisel on küsimusi näitavate joonte vasakud otsad tõusvas joones. Tuleks veenduda, et jooned on õigesti tähistatud, nii et ekspertrühma liikmed saavad igat joont täpselt konkreetse testiküsimusega siduda.

Vertikaaljoon kujutab ekspertrühma liikme esialgset tasemepiiri ja selle joone tõmbamisega (või vastavas kohas joonlaua hoidmisega) saab ekspertrühma liige kiiresti ülevaate oma otsuse tagajärgedest. Näites viitab pakutud tasemepiir küsimuste 1–8 ja 11 täielikule valdamisele. Küsimuste 9 ja 10 puhul on valdamine peaaegu täielik. Küsimuse 12 puhul on saavutatud piiripealne valdamine ja küsimuste 13–16 puhul ei ole seda üldse saavutatud.

Meetodi kohaldamiseks võib paluda ekspertrühma liikmetel tõmmata vertikaaljoon või määrata kindlaks arvuline väärtus, mis vastab kohale, kus vertikaaljoon puudutab horisontaaltelge, nagu joonisel on näidatud (siin on see punkt 0,6).

0,00 0,25 0,50 0,75 1,00

–3,00 –2,00 –1,00 0,00 1,00 2,00 3,00

Latentsete tunnuste skaala

Õige vastuse tõenäosus

0,00 0,25 0,50 0,75 1,00

–3,00 –2,00 –1,00 0,00 1,00 2,00 3,00

Latentsete tunnuste skaala

Õige vastuse tõenäosus

84

Joonis 6.5. Testiküsimuste kaart, mis näitab küsimuse raskust ja eristusjõudu Pange tähele, et jooniselt 6.5 ei ole kuidagi võimalik välja lugeda, milline on sihtrühma latentsete võimekuste jaotus. Vältimaks võimalike seoste tekkimist nii-öelda normaalse jaotusega, oleks soovitatav muuta skaalaväärtusi selliselt, et need kõik oleksid joonise horisontaalteljel väljendatud sobivas skaalas, millel ei ole negatiivseid väärtusi ja millel on kergesti mõistetav ühik. Liites näiteks kõigile joonise

horisontaalteljel olevatele arvudele 8 ja korrutades need 10ga, saame arvud vahemikus 50–110. Nii väldime protsentides väljendatud tõlgendusi. Samas on selline vahemik piisavalt üksikasjalik, et esialgset tasemepiiri saaks väljendada täisarvudena.²⁴ Kui tasemepiiride määratlemine on lõpule viidud, on selles protsessis määratletud tasemepiire lihtne algsele skaalale teisendada. Skooridena väljendatud tasemepiirid määratletakse samamoodi nagu järjehoidja meetodis (vt osa 6.8.3).

6.10. Eriküsimused

Selles osas käsitletakse lühidalt mõningaid eriküsimusi. Need on:

• tasemepiiride määratlemineheterogeensete testide puhul (osaoskuste lõikes);

• tasemepiiride määratlemine ja testide võrdsustamine (testikorraldajate lõikes);

• keelteülene tasemepiiride määratlemine.

24 Alternatiiv või lisavõimalus võiks olla testiülesannetega seotud raamdokumendi tasemekirjelduste kasutamine katseeksami või eeltestimise ajal õpetajapoolse hindamise ja enesehindamise käigus. Seejärel võib sobival hetkel standardi kehtestamise voorude ajal näidata ekspertrühma liikmetele, kuhu need joonisel 6.5 kujutatud latentsel skaalal kalibreerituna paigutuvad. Vt osa 7.5.4.2.

0 2 4 6 8 10 12 14 16

–3 –2 –1 0 1 2 3

Latentsete tunnuste skaala

Testiküsimused

85 6.10.1. Tasemepiiride määratlemine osaoskuste lõikes

Võib juhtuda, et mõningates olukordades on vaja eksaminandi paigutust raamdokumendi tasemele väljendada ühe ja üldise tulemusena, ehkki eksam ise koosneb kolmest või enamast osast ja iga testiosa hõlmab eri osaoskust.

Sellisele olukorrale võib läheneda mitme nurga alt. Siinkohal käsitletakse kaht lähenemisviisi:

kompensatsioonistrateegiat ja liitstrateegiat. Mõlemad võivad äärmuslikul kohaldamisel põhjustada vastuvõetamatuid tulemusi. Seetõttu käsitletakse ka kompromissvarianti.

Kompensatsioonistrateegia. Ühelt poolt võiks äärmusena väita, et kõik testiülesanded ja -küsimused hõlmavad kõiki osaoskusi, ja seega võiks terve testiküsimuste ja -ülesannete kogumi suhtes kohaldada korraga ükskõik millist ülalkirjeldatud meetodit. Sellise suhtumise korral tuleb aga mõista, et testiskoorid on oma määratluselt kompenseerivad, sest tegemist on testiküsimuste ja -ülesannete skooride summadega.

Mõne testiküsimuse soorituse ebaõnnestumist on võimalik kompenseerida hea sooritusega mõnes teises testiküsimuses. Kuni test on ülesannete olemuse järgi homogeenne, on sellise kompensatsioonimehhanismi toimimine üsna loomulik ning ei ole vaja muretseda selle pärast, millised konkreetsed testiülesanded ja -küsimused sooritati ja millised mitte.

Heterogeensema testi puhul aga ei pruugi selline kompensatsioonimehhanism sobida. Kujutlegem näiteks, et üks inglise keele riigieksam koosneb lugemis-, kuulamis-, rääkimis- ja kirjutamistestist. Testi nelja osa eest kokku on võimalik saada sada punkti. Oletagem, et tasemepiiride määratlemiseks kasutatakse terviktööde meetodit ja töönäidised on kogutud riigi eri piirkondadest. Juhul kui piirkonniti on erinevused õpetamisse tehtud investeeringute ja/või ühes või mitmes osaoskuses asjatundlikkuse poolest märkimisväärsed, võivad osaoskuste tüüpilised kirjeldused olla piirkondades erinevad. Kui mõnes piirkonnas pööratakse vähe tähelepanu rääkimisele, võib isegi parimate õpilaste rääkimisoskus olla kehv ja nende sooritus võib olla samal tasemel keskmise tasemega õpilaste omaga piirkondades, kus sellele osaoskusele on pühendatud piisavalt tähelepanu. Kõikide osaoskuste koos vaatlemine võib tõenäoliselt varjata olulisi erinevusi üksikutes osaoskustes.

Seetõttu on oluline põhjalikult uurida, mil määral sobib kasutada ühemõõtmelist lähenemisviisi. Et ühemõõtmelise lähenemisviisi kohaldamine oleks põhjendatud, tuleks peale eri osaoskuste struktuuri uurimise käsitleda ka koolide, piirkondade või õpetamismeetodite võimalikke struktuurilisi erinevusi, mis võivad avalduda küsimuse toimes. Kui osaoskuste vahel on tõepoolest märgatavad erinevused või vaid mõõdukas korrelatsioon, võivad tekkida tõsised probleemid, millest siinkohal olgu mainitud kaks.

1. Vastu tuleb võtta põhjendatud otsus selle kohta, milline kaal on igal osaoskusel koguskooris. Kui on kehtestatud mingi õigussäte, mille kohaselt loetakse iga osaoskust ühtmoodi oluliseks, on see probleem lahendatud.

2. Isegi kui see kaal on ette kirjutatud, puudub igasugune tagatis, et selliste eksaminandi-kesksete meetodite puhul nagu terviktööde meetod kasutavad ekspertrühma liikmed tõepoolest seda ettekirjutatud kaalu olukorras, kus nad peavad õpilase taseme kohta andma üldhinnangu.

Liitstrateegia. Alternatiiviks on lähenemisviis, kus kõiki osaoskusi käsitletakse omaette. See tähendab, et tasemepiirid määratletakse igale osaoskusele eraldi. Sellisel puhul näeb liitstrateegia otsustusreegel ette, et teatud tase on tervikuna saavutatud alles siis, kui see on saavutatud igas osaoskuses eraldi. Selle reegli jäik järgimine võib viia vastuvõetamatute tulemusteni, sest õpilane ei pruugi saavutada B1-taset isegi siis, kui ta on saavutanud B2-taseme kolmes osaoskuses neljast, kuid neljandas osaoskuses ei ületanud tasemepiiri A2/B1.

86

Järelikult näib mõistlik, et kompensatsiooni- ja liitstrateegia vahel tuleb leida kompromiss. Võib ette näha, et üldjuhul kasutatakse liitstrateegiat, ent kehtestatakse mõningad erandid kompensatsioonistrateegia

kohaldamiseks, nagu ülalkirjeldatud näites, mil võib olla mõistlik paigutada õpilane B1-tasemele. Nende erandite täpset iseloomu tuleb hoolikalt kaaluda ja mõistlik oleks need koos ekspertrühma liikmetega läbi arutada pärast seda, kui nad on iga osaoskuse jaoks eraldi juba tasemepiirid määratlenud.

Im Dokument Käsiraamat Keeleeksamite sidumine Euroopa keeleõppe raamdokumendiga: õppimine, õpetamine ja hindamine (Seite 91-97)