Naslov
Razmještaj osjetila korištenjem ojačanog učenja
(Sensor placement using reinforcement learning)

Autori
Lipovac, Filip

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Tehnički fakultet

Mjesto
Rijeka

Datum
27.05

Godina
2022

Stranica
71

Mentor
Lenac, Kristijan

Neposredni voditelj
Sušanj, Diego

Ključne riječi
ojačano učenje, duboko ojačano učenje, razmještaj osjetila, OpenAI Gym, Stable-Baselines
(reinforcemet learning, deep reinforcement learning, sensor placement, OpenAI Gym, Stable-baselines)

Sažetak
Ovaj rad predstavlja nastavak istraživanja u sklopu kojega je definiran generalni model prostora i osjetila te simulacijsko okruženje za provjeru metaheurističkih optimizacijskih algoritama za razmještaj osjetila u zatvorenom prostoru (Diego Sušanj, 2021). Simulacijsko okruženje i modeli prostora i osjetila prošireni su okruženjem za treniranje temeljenim na OpenAI Gym implementaciji, knjižnici za kreiranje generaliziranih modela okruženja za treniranje metoda ojačanog učenja. Predložena okruženja se koristi za ispitivanje metoda ojačanog učenja u kojima agent, matematički opisano usmjereno ili svesmjerno osjetilo, korištenjem niza opisanih akcija razvija politiku kojom maksimizira pokrivenost u simuliranom zatvorenom prostoru. Rad se fokusira na proširivanje modela prostora sa okruženjem za treniranje modela ojačanog učenja, pritom koristeći generalizirani model osjetila i prostora iz postojeće literature i na istraživanje i korištenje algoritama ojačanog učenja za primjenu na području razmještaja osjetila u dvodimenzionalnom okruženju. Odabrano je i ispitano pet algoritama dubokog ojačanog učenja koji su implementirani u Stable baselines knjižnici, od čega dvije implementacije koriste metodu glumac-kritičar dok su preostale tri prilagođene verzije algoritama dubokog Q-učenja. Treniranje je provedeno u unaprijed zadanom broju koraka gdje u svakom koraku agent izvodi akciju za koju dobije povratnu informaciju iz okruženja. Povratna informacija iz okruženja je kombinacija trenutne pozicije, orijentacije i postignute vidljivosti osjetila. Rezultati eksperimenta su pokazali da opisani pristup može razmjestiti oba tipa osjetila na pozicije s visokom pokrivenošću prostora te je uz prilagodbu parametra učenja pokazana mogućnost treniranja na jednom i korištenju treniranog modela u nepoznatom prostoru, unatoč malom broju koraka evaluacije i s ograničenim računalnim resursima. Završno, rezultati istraživanja pokazaju potencijal za nastavak istraživanja u području korištenja dubokog ojačanog učenja za rješavanje problema razmještaja osjetila, ali su uočeni i nedostaci u trenutnoj implementaciji u kojoj je jedna od najvećih ograničenosti izostanak podrške za više- agentni način rada.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo

POVEZANOST RADA