hrvatski

Identifikacija hrvatske znakovne abecede računalnim vidom

Pokušaji prepoznavanja gesti i znakovnog jezika gluhonijemih osoba bez prepoznavanja položaja šake pokazali su se ograničenima u izvedbi, jer isti pokret ruke znakovnog jezika ima različita značenja ovisno o položaju i obliku šake. Budući da se pložaji i oblici šake smatraju posebnim slučajem prijelaznih stanja dinamičkih kretnji, njihovo prepoznavanje je jedno od važnijih područja općenitog prepoznavanja gesti. Iz tog razloga, ovaj rad fokusiran je na izvedbu sustava za prepoznavanje oblika šake Hrvatskog znakovnog jezika- CROSLAN (Croatian Sign Language) uporabom web-kamere, dakle, vizualnim pristupom. U radu su realizirani svi element sustava za prepoznavanje: segmentacija, ekstrakcija značajki i klasifikacija. Segmentacija područja interesa, ostvarena je unutar samog dohvata slike kod kojeg se metodom modeliranja pozadine i oduzimanja sekvence slika dobilo izolirano područje znaka abecede prikazano oblikom šake. Nadalje, razvijeno je rješenje ekstrakcije značajki iz vrijednosti i međuodnosa piksela transformirane slike, odnosno iz prostora značajki, pomoću eksploratorne analize podataka (EDA), a za klasifikaciju korištena je metoda k-NN, s tim da su na mjesto klasične Euklidove udaljenosti uvedene nove mjere udaljenosti i sličnosti: kombinirane su dinamičko ukrivljavanje vremenske osi, DTW, i najduža zajednička podsekvenca, LCSS. Testiranjem predloženih metoda se postigla ukupnu točnost prepoznavanja od 84%, pri setu od 1050 slika za testiranje i 200 za učenje, dok je točnost prepoznavanja pojedinačnih slova, uz prikladno podešene paremetre mjera sličnosti, iznosila i 100%. Ovim je pokazano da se visok stupanj prepoznavanja može postići i uz jednu jedinu značajku po slici, i to za mali skup uzoraka za učenje.

prepoznavanje znakovnog jezika; analiza slike; reprezentacija objekta na slici; ekstrakcija značajki; eksploratorna analiza podataka; mjere sličnosti; k-NN klasifikacija

nije evidentirano