Naslov
Identifikacija hrvatske znakovne abecede računalnim vidom
(Computer Vision-based Identification of Croatian Sign Language Alphabet)

Autori
Kuzmanić, Ana

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, magistarski rad

Fakultet
Fakultet elektrotehnike, strojarstva i bordogradnje

Mjesto
Split

Datum
09.02

Godina
2006

Stranica
90

Mentor
Zanchi, Vlasta

Ključne riječi
prepoznavanje znakovnog jezika; analiza slike; reprezentacija objekta na slici; ekstrakcija značajki; eksploratorna analiza podataka; mjere sličnosti; k-NN klasifikacija
(sign language recognition; image analysis; image object representation; feature extraction; exploratory data analysis; similarity measures; k-NN classification)

Sažetak
Pokušaji prepoznavanja gesti i znakovnog jezika gluhonijemih osoba bez prepoznavanja položaja šake pokazali su se ograničenima u izvedbi, jer isti pokret ruke znakovnog jezika ima različita značenja ovisno o položaju i obliku šake. Budući da se pložaji i oblici šake smatraju posebnim slučajem prijelaznih stanja dinamičkih kretnji, njihovo prepoznavanje je jedno od važnijih područja općenitog prepoznavanja gesti. Iz tog razloga, ovaj rad fokusiran je na izvedbu sustava za prepoznavanje oblika šake Hrvatskog znakovnog jezika- CROSLAN (Croatian Sign Language) uporabom web-kamere, dakle, vizualnim pristupom. U radu su realizirani svi element sustava za prepoznavanje: segmentacija, ekstrakcija značajki i klasifikacija. Segmentacija područja interesa, ostvarena je unutar samog dohvata slike kod kojeg se metodom modeliranja pozadine i oduzimanja sekvence slika dobilo izolirano područje znaka abecede prikazano oblikom šake. Nadalje, razvijeno je rješenje ekstrakcije značajki iz vrijednosti i međuodnosa piksela transformirane slike, odnosno iz prostora značajki, pomoću eksploratorne analize podataka (EDA), a za klasifikaciju korištena je metoda k-NN, s tim da su na mjesto klasične Euklidove udaljenosti uvedene nove mjere udaljenosti i sličnosti: kombinirane su dinamičko ukrivljavanje vremenske osi, DTW, i najduža zajednička podsekvenca, LCSS. Testiranjem predloženih metoda se postigla ukupnu točnost prepoznavanja od 84%, pri setu od 1050 slika za testiranje i 200 za učenje, dok je točnost prepoznavanja pojedinačnih slova, uz prikladno podešene paremetre mjera sličnosti, iznosila i 100%. Ovim je pokazano da se visok stupanj prepoznavanja može postići i uz jednu jedinu značajku po slici, i to za mali skup uzoraka za učenje.

Izvorni jezik
Hrvatski

Znanstvena područja
Elektrotehnika

POVEZANOST RADA