Naslov
Interaktivno učenje primjenom afektivne robotske glave PLEA
(Interactive learning using the affective robot head PLEA)

Autori
Stipančić, Tomislav ; Koren Leon

Vrsta, podvrsta i kategorija rada
Sažeci sa skupova, neobjavljeni rad, stručni

Skup
CARNet User Conference

Mjesto i datum
Hrvatska, 04.11.2020. - 06.11.2020

Vrsta sudjelovanja
Predavanje

Vrsta recenzije
Domaća recenzija

Ključne riječi
više-modalno stapanje informacija, obrada socijalnih signala, afektivna robotika, duboko učenje, umjetna inteligencija, e-učenje
(multimodal information fusion, social signal provessing, affective robotics, deep learning, artificial intelligence, e-learning)

Sažetak
U prezentaciji će biti predstavljen projekt razvoja afektivnog robota čiji upravljački algoritmi omogućuju djelomičnu percepciju konteksta. Upravljački mehanizmi ovdje mogu biti shvaćeni kao pretvornici kontekstualnih informacija (implicitno) u podatke (eksplicitno), što je razina prikladna za korištenje od strane računala. Afektivna robotska glava, koja se koristi kao komunikacijsko sučelje između dvije udaljene stvarne osobe (nastavnika i studenta), temelji se na Wizard of Oz principu. Po tome principu robotom upravlja osoba s udaljenog mjesta koja kroz njega ostvaruje svoje djelovanje. Tehnikama vizualizacija informacija i umjetne inteligencije kopira se lice nastavnika u realnom vremenu. Ta se slika potom računalno mapira s virualnim likom koji se projicira pomoću svjetlosnog projektora na lice afektivnog robota. Mali projektor koji se nalazi u vratu robota projicira svjetlost prema gore na lice. Pritom student može i ne mora biti svjestan da komunicira sa stvarnom osobom kroz robotsku glavu. Koristeći multimodalni pristup robot ima mogućnost tumačiti ljudske neverbalne znakove na način da procjenjuje emocionalno stanje osobe. Ovdje se trenutno analiziraju tri modalnosti: emocije na licu osobe s kojom se komunicira (lice studenta), razina buke u prostoriji gdje se osoba nalazi te njen intenzitet kretnji tijela. Algoritam multimodalne fuzije potom stvara hipotezu o trenutnom emocijonalnom stanju studenta. Te se informacije potom prenose do udaljenog nastavnika koji ih može iskoristiti da po potrebi reagira ili usmjeri tok interakcije. Paralelno s razvojem afektivnog robota provode se testovi prihvatljivosti nove tehnologije preko upitnika implementiranih u Moodle sustav. Inicijalni rezultati prikazuju oprez od strane studenata te prihvačanje robota kao edukatora.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo, Strojarstvo, Informacijske i komunikacijske znanosti, Kognitivna znanost (prirodne, tehničke, biomedicina i zdravstvo, društvene i humanističke znanosti)

POVEZANOST RADA