Naslov
Razvoj agenta korištenjem potpomognutog učenja u parcijalno primjetljivom okruženju
(An attempt of reinforcement learning in a partially observable environment)

Autori
Torić, Laura

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, preddiplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
01.07

Godina
2020

Stranica
30

Mentor
Jakobović, Domagoj

Ključne riječi
Potpomognuto učenje ; Duboke Q-Mreže ; Hijerarhijske Duboke Q-Mreže ; DotA 2
(Reinforcement Learning ; Deep Q-Network (DQN) ; Hierarchical Deep QNetwork (h-DQN) ; DotA 2)

Sažetak
Svrha ovog projekta bila je riješiti problem učenja u složenom djelomično promatranom okruženju pomoću potpomognutog učenja. Igra za više igrača pod nazivom DotA 2 izabrana je kao okolina jer je i izazovna i vizualno ugodna. Agent je komunicirao s igrom putem dobivenog poslužitelja i dodatka za igru (engl. Steam Add-on) (zvanog Breezy), koji je na kraju i sam bio izazov. Krajnji rezultati pokazali su se razocaravajuće lošima. Prvotna ideja je bila spajanje Duboke Q-Mreže (engl. Deep Q-Network) s genetskim algoritmom, ali kasnijim je istraživanjem je odabrana metoda Hijerarhijske Duboke Q-Mreže (engl. Hierarchical Deep Q-Network) kao strategija koja obećava. Nažalost, zbog nedostatka resursa (dostupno samo jedno računalo), nedosljedne mrežne veze i velikog trajanja epizoda, izvelo se samo 250 epizoda za hDQN, što nije bilo dovoljno za postizanje željene konvergencije performansi. Unatoč nedostatku prihvatljivih rezultata, ovaj je projekt pokazao stvarnu važnost modeliranja ispravnih stanja i nagrade, kao i razlike između različitih strategija Q-učenja.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo

POVEZANOST RADA