Naslov
Mehanizam za usmjeravanje pogleda virtualnog agenta temeljem zvučnog i vizualnog ulaza
(A mechanism for directing the virtual agent's gaze based on sound and visual input)

Autori
Bakula, Slaven

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Fakultet strojarstva i brodogradnje

Mjesto
Zagreb

Datum
18.07

Godina
2022

Stranica
58

Mentor
Stipančić, Tomislav

Ključne riječi
prepoznavanje lica ; Unreal Engine ; Python ; socket protokol
(face recognition ; Unreal Engine ; Python ; socket protocol)

Sažetak
U sklopu Laboratorija za projektiranje izradbenih i montažnih sustava implementiran je virtualni softverski agent PLEA koji koristi multi- modalni pristup prilikom zaključivanja o emocionalnom stanju osobe s kojom komunicira temeljen na zvučnim i vizualnim informacijama. Koristeći neverbalni oblik komunikacije, korisnici mogu tako ostvariti kontakt sa virtualnim agentom. Kako bi komunikacija virtualnog agenta bila što sličnija stvarnoj osobi potrebno je implementirati značajke svakodnevnog govora kao što je pogled u oči prilikom komuniciranja. U ovom radu opisano je stvaranje jednog takvog sustava koji može biti implementiran u postojeći PLEA virtualni agent. Rad opisuje kreiranje virtualnog agenta u Unreal Engine programu na udaljenom računalu. U programskom jeziku Python uz korištenje dostupnih biblioteka napisan je program za prepoznavanje lica te određivanje kuta njegovog položaja na području kamere. Preko socket komunikacije šalju se vrijednosti definirane pozicije u stvarnom vremenu i ostvaruje se reakcija virtualnog agenta. Uz vizualnu akviziciju, napravljen je i program koji koristi lokalizaciju izvora zvuka korištenjem LyraTD-MSC modula te se slanjem iznos kuta, također preko socket protokola, ostvaruje reakcija virtualnog agenta.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo, Strojarstvo

POVEZANOST RADA