Naslov
Automatska detekcija demencije iz govora koristeći transformerske modele
(Automatic detection of dementia from speech using transformer models)

Autori
Matošević, Lovro

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
06.07

Godina
2022

Stranica
58

Mentor
Jović, Alan

Ključne riječi
demencija ; duboko učenje ; Pittov korpus ; transformer ; RoBERTa ; XLNet ; Audio Spectrogram Transformer ; automatsko prepoznavanje govora
(dementia ; deep learning ; Pitt corpus ; transformer ; RoBERTa ; XLNet ; Audio Spectrogram Transformer ; automatic speech recognition)

Sažetak
Demencija je ozbiljna bolest koja je najčešće kronične ili progresivne naravi te je jedan od glavnih uzroka invalidnosti među starijom svjetskom populacijom. Automatska detekcija demencije težak je zadatak. Uključuje analizu akustičkih značajki govora, lingvističkih značajki transkripata i slično. Ovaj rad bavi se istraživanjem mogućnosti modela dubokog učenja koji iz lingvističkih transkripata te direktno iz govora detektiraju potencijalnu demenciju. Korišten je skup podataka Pittov korpus, dio DementiaBank dijeljene baze podataka čija je glavna namjena proučavanje demencije i srodnih bolesti. eksperimentirano je s modelima kao što su BERT, RoBERTa, XLNet i Audio Spectrogram Transformer. Također, istražene su mogućnosti modela Wav2Vec2 za automatsko prepoznavanje govora kojim su pripremljeni transkripti koje su zatim poslužile kao ulaz u tekstne modele. Pokazano je da se korištenjem kvalitetnih transkripata mogu postići točnosti detekcije iznad 90%. Konačno, predstavljena je detaljna diskusija rezultata, u kojoj su između ostaloga uspoređeni rezultati korištenih pristupa detekciji demencije, te je predstavljena jezgrovita analiza određenih pogreški.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo, Kliničke medicinske znanosti

POVEZANOST RADA