hrvatski

Vrednovanje strojnoga prevođenja

Tema ovoga doktorskog rada jest problem vrednovanja strojnoprevoditeljskih sustava. Koherentna metodologija vrednovanja učinkovitosti i uspješnosti strojnoprevoditeljskih sustava gotovo je jednako važna (i zacijelo ne manje složena) kao i izrada samih strojnoprevoditeljskih sustava, pa se u definiranje postupaka vrednovanja ulažu znatni napori. Međutim, ne postoji jedinstven i općeprihvaćen pristup vrednovanju. Ono što cijelu problematiku čini još složenijom jest činjenica da se strojnoprevoditeljski sustavi znatno razlikuju po svojoj primjeni, načinu upotrebe i namjenama. Valjana metodologija vrednovanja mora sve ove elemente uzeti u obzir. U ovome se doktorskome radu daje teorijski okvir vrednovanja strojnoga prevođenja i njegov povijesni pregled, od poznatog ALPAC-ovog Izvješća do recentnih nastojanja da se izrade metrike za automatsko vrednovanje i standardiziraju postupci vrednovanja. Rad uključuje i evaluacijsko istraživanje u okviru kojega su ispitana tri strojnoprevoditeljska sustava za jezični par ruski-engleski – Cognitive Translator, Babelfish and ProMT, i jedan strojnoprevoditeljski sustav za jezični par engleski-hrvatski – Google Translate. Strojno generirani prijevod podvrgnut je lingvističkoj analizi (kvantifikaciji i klasifikaciji pogrešaka). Na uzorku od 27 ispitanika – kompetentnih govornika engleskoga i hrvatskog jezika – provedeno je ispitivanje stvarnog razumijevanja prevedenog teksta, te su prikupljene subjektivne ocjene prijevoda. Ova tri kriterija – analiza pogrešaka, testovi razumijevanja i subjektivna ocjena razumljivosti zatim se supostavljaju, odnosno istražuje se u kakvom su odnosu subjektivna prosudba razumljivosti i stvarno razumijevanje, te u kojoj mjeri morfosintaktička, leksička i semantička analiza pogrešaka u prijevodu korelira s korisničkim ocjenama i razumljivošću prijevoda.

strojno prevođenje; vrednovanje; metrika

nije evidentirano