hrvatski

Procjena pouzdanosti ocjenjivača eseja na ispitima državne mature

Standardizirani ispiti kojima se ispituje poznavanje bilo materinskog, bilo stranog jezika nužno uključuju zadatke esejskoga tipa kojima se nastoji ispitati razina jezične produkcije. Iako ovi zadaci daju dublji uvid u usvojenost jezičnih znanja te se njima mogu ispitivati složeniji kognitivni procesi poput analize, evaluacije i sinteze, njihova vrijednost u terminima pouzdanosti mjerenja je ograničena. Unatoč unaprijed postavljenim kriterijima i jedinstvenoj skali bodovanja, svaki ocjenjivač prilikom ocjenjivanja unosi i svoj subjektivni faktor koji je nemoguće u potpunosti izbjeći i kontrolirati. To je posebno važno na ispitima visokoga rizika poput državne mature. Ispitu iz hrvatskoga jezika koji uključuje pisanje eseja dužine od 600-800 riječi godišnje pristupa oko 35 000 pristupnika te posao ocjenjivanja obavlja oko 200 ocjenjivača. Stoga je ovo ispitivanje imalo dva cilja: (I) pronaći najbolji pokazatelj kvalitete ocjenjivanja na temelju kojega će biti moguće provesti selekciju ocjenjivača ; (II) detektirati dijelove skale za vrednovanje na kojima je najmanja pouzdanost ocjenjivanja. Selekciji ocjenjivača pristupila su 353 nastavnika hrvatskoga jezika s minimalno deset godina radnoga staža u nastavi. Ocjenjivači su imali zadatak ocijeniti dvadeset prošlogodišnjih esejskih uradaka na temelju standardizirane skale koja sadrži dvanaest sastavnica podijeljenih u tri glavne kategorije: sadržaj, organizacija i jezik. Maksimalni broj bodova na skali je 40. Za svaki od tih dvadeset uradaka postignut je konsenzus stručne radne skupine za izradu ispita o ukupnom broju bodova. Za svakog je ocjenjivača izrađen njegov ocjenjivački profil i to na temelju odstupanja u ocjenjivanju u odnosu na procjenu stručne radne skupine te na prosjek grupe ocjenjivača. Također su izračunata prosječna odstupanja u ukupnom broju bodova i pojedinim sastavnicama skale izražena kroz standardne devijacije te Cronbach-Gleserova distanca kao i korelacijske vrijednosti. Integracijom dobivenih pokazatelja ocjenjivači su rangirani u četiri kategorije s obzirom na pouzdanost ocjenjivanja. Nadalje, dobiven je uvid u pouzdanost ocjenjivanja na svakoj od pojedinih sastavnica skale. Po završetku ispitivanja svaki je ocjenjivač dobio na uvid svoj ocjenjivački profil te opću ocjenu svojih ocjenjivačkih kvaliteta. Ovo ispitivanje daje uvid u karakteristike ocjenjivača, ali i same skale za vrednovanje te daje preporuke za poboljšanje kvalitete procesa ocjenjivanja.

državna matura ; esej ; ocjenjivači ; selekcija

nije evidentirano