Naslov
Procjena pouzdanosti ocjenjivača eseja na ispitima državne mature
(Assessing rater reliability in state matura essay grading)

Autori
Ćurković, Natalija ; Džida, Marija ; Kapović, Iva

Vrsta, podvrsta i kategorija rada
Sažeci sa skupova, sažetak, ostalo

Izvornik
4. Dani obrazovnih znanosti - Odgojno-obrazovni sustav: ograničavajuće i/ili poticajno okruženje - Knjiga sažetaka / - , 2018, 34-35

ISBN
978-953-6218-79-0

Skup
4. dani obrazovnih znanosti = 4th Days of Educational Sciences

Mjesto i datum
Zagreb, Hrvatska, 25.10.2018. - 26.10.2018

Vrsta sudjelovanja
Predavanje

Vrsta recenzije
Međunarodna recenzija

Ključne riječi
državna matura ; esej ; ocjenjivači ; selekcija
(state matura exams ; essay ; raters ; selection)

Sažetak
Standardizirani ispiti kojima se ispituje poznavanje bilo materinskog, bilo stranog jezika nužno uključuju zadatke esejskoga tipa kojima se nastoji ispitati razina jezične produkcije. Iako ovi zadaci daju dublji uvid u usvojenost jezičnih znanja te se njima mogu ispitivati složeniji kognitivni procesi poput analize, evaluacije i sinteze, njihova vrijednost u terminima pouzdanosti mjerenja je ograničena. Unatoč unaprijed postavljenim kriterijima i jedinstvenoj skali bodovanja, svaki ocjenjivač prilikom ocjenjivanja unosi i svoj subjektivni faktor koji je nemoguće u potpunosti izbjeći i kontrolirati. To je posebno važno na ispitima visokoga rizika poput državne mature. Ispitu iz hrvatskoga jezika koji uključuje pisanje eseja dužine od 600-800 riječi godišnje pristupa oko 35 000 pristupnika te posao ocjenjivanja obavlja oko 200 ocjenjivača. Stoga je ovo ispitivanje imalo dva cilja: (I) pronaći najbolji pokazatelj kvalitete ocjenjivanja na temelju kojega će biti moguće provesti selekciju ocjenjivača ; (II) detektirati dijelove skale za vrednovanje na kojima je najmanja pouzdanost ocjenjivanja. Selekciji ocjenjivača pristupila su 353 nastavnika hrvatskoga jezika s minimalno deset godina radnoga staža u nastavi. Ocjenjivači su imali zadatak ocijeniti dvadeset prošlogodišnjih esejskih uradaka na temelju standardizirane skale koja sadrži dvanaest sastavnica podijeljenih u tri glavne kategorije: sadržaj, organizacija i jezik. Maksimalni broj bodova na skali je 40. Za svaki od tih dvadeset uradaka postignut je konsenzus stručne radne skupine za izradu ispita o ukupnom broju bodova. Za svakog je ocjenjivača izrađen njegov ocjenjivački profil i to na temelju odstupanja u ocjenjivanju u odnosu na procjenu stručne radne skupine te na prosjek grupe ocjenjivača. Također su izračunata prosječna odstupanja u ukupnom broju bodova i pojedinim sastavnicama skale izražena kroz standardne devijacije te Cronbach-Gleserova distanca kao i korelacijske vrijednosti. Integracijom dobivenih pokazatelja ocjenjivači su rangirani u četiri kategorije s obzirom na pouzdanost ocjenjivanja. Nadalje, dobiven je uvid u pouzdanost ocjenjivanja na svakoj od pojedinih sastavnica skale. Po završetku ispitivanja svaki je ocjenjivač dobio na uvid svoj ocjenjivački profil te opću ocjenu svojih ocjenjivačkih kvaliteta. Ovo ispitivanje daje uvid u karakteristike ocjenjivača, ali i same skale za vrednovanje te daje preporuke za poboljšanje kvalitete procesa ocjenjivanja.

Izvorni jezik
Hrvatski

POVEZANOST RADA