Naslov
Unaprijeđena prirodna korisnička interakcija u paradigmi pametne okoline temeljena na metodama dubokog učenja
(Advanced natural user interaction in a smart environment paradigm based on deep learning methods)

Autori
Kraljević, Luka

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, doktorska disertacija

Fakultet
Fakultet elektrotehnike, strojarstva i brodogradnje

Mjesto
Split

Datum
02.02

Godina
2021

Stranica
103

Mentor
Russo, Mladen

Ključne riječi
pametna okolina, prirodno korisničko sučelje, duboko učenje, automatsko prepoznavanje govora, lokalizacija izvora zvuka, prepoznavanje dinamičkih gesti, prepoznavanje emocija u glazbi
(smart environment, natural user interface, deep learning, automatic speech recognition, sound source localization, dynamic gesture recognition, emotion recognition in music)

Sažetak
Promatrajući pametnu okolinu ne samo iz aspekta integracije tehnološkog napretka u društvo već kao i novu računalnu paradigmu koja za cilj ima unaprjediti način interakcije čovjeka i računala, vidljivo je da ona u svojoj srži zahtjeva razradu novih koncepata korisničkih sučelja orijentiranih prema oblicima interakcije urođenih u ljudsko ponašanje. Razmatrajući govor, geste i emocije kao tri najvažnija faktora međuljudske interakcije, u ovoj doktorskoj disertaciji je predstavljen skup znanstvenih istraživanja čiji znanstveni doprinosi utječu na unaprjeđenje korisničke interakcije. Preglednim poglavljem ova disertacija adresira ključne faktore koji su pridonijeli razvoju područja prirodnih korisničkih sučelja. Kao rezultat istraživanja u području govornih sučelja u ovoj disertaciji predstavljena je nova metoda za lokalizaciju izvora zvuka u 3D prostoru. Simulacijskom i eksperimentalnom analizom utvrđeno je da se razvijena metoda može koristi za precizno pozicioniranje izvora zvuka u otvorenom prostoru, a time ujedno predstavlja temelj za poboljšanje performansi govornog sučelja u uvjetima udaljenog snimanja. U kontekstu unaprjeđenja sučelja temeljenog na gestama, predložen je novi sustav za prepoznavanje dinamičkih gesti temeljen na algoritmu dubokog učenja gdje se kroz praktičnu provedbu na prepoznavanju hrvatskog znakovnog jezika pokazala mogućnost interakcije s pametnom okolinom. U sklopu istraživanja usmjerenim na afektivna sučelja, u ovoj disertaciji predložena je također i nova metoda za prepoznavanje emocija u glazbi koja se temelji na obradi audio signala realističnim biofizičkim modelom pužnice u svrhu generiranja vjernog prikaza ljudskog slušnog spektrogram te upotrebom konvolucijske neuralne mreže za ekstrakciju novih vrsta značajki. Analiza performansi na javno dostupnoj bazi potvrdila je izvrsne rezultate implicirajući pritom da se razvijeni sustav može koristiti za efikasno pretraživanje i organizaciju glazbenih datoteka na temelju emocionalnih vrijednosti. Predočene metode, znanstveni doprinosi kao i rezultati cjelokupnog istraživanja u području prirodnih korisničkih sučelja zajedno tvore novi znanstveni doprinos u smislu unaprjeđenja korisničke interakcije u pametnoj okolini.

Izvorni jezik
Hrvatski

Znanstvena područja
Elektrotehnika, Računarstvo

POVEZANOST RADA