Naslov
Filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark
(Filtering of Geospatial Data Streams using Apache Spark Platform)

Autori
Britvec, Darko

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, preddiplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
08.07

Godina
2019

Stranica
45

Mentor
Pripužić, Krešimir

Neposredni voditelj
Katušić, Damjan

Ključne riječi
raspodijeljeni sustav ; Apache Spark ; objavi-pretplati ; geoprostorni tok ; GeoJSON ; Apache Kafka ; Spark Streaming ; GeoSpark ; Java Topology Suite ; Geotools ; particioniranje ; Hilbertova krivulja ; Voronoijev dijagram ; R-stablo ; Q-stablo ; KDB-stablo ; prostorni indeks
(distributed system ; Apache Spark ; publish-subscribe ; geospatial data stream ; GeoJSON ; Apache Kafka ; Spark Streaming ; GeoSpark ; Java Topology Suite ; Geotools ; partitioning ; Hilbert curve ; Voronoi diagram ; R-tree, Q-tree ; KDB-tree ; geospatial index)

Sažetak
Cilj ovog rada je stvaranje učinkovitog raspodijeljenog sustava za filtriranje geoprostornog toka podataka korištenjem platforme Apache Spark. Arhitektura korištena u implementaciji programskog rješenja naziva se „objavi-pretplati“. Objave u sustavu predstavljaju poruke formata GeoJSON koje sadrže geoprostornu značajku (točku, liniju, poligon) te dodatne informacije. Pretplate u sustavu predstavljaju poligoni u prostoru uz koje vežemo dodatne značajke. Tok podataka implementiran je pomoću alata Apache Kafka. Za konzumaciju toka podataka koristi se Spark Streaming koji tok obrađuje u dijelovima koji se mogu primiti u određenom vremenskom intervalu (engl. micro-batch). Za filtriranje geoprostornih podataka korištena je programska knjižnica GeoSpark koja dodatno koristi knjižnice Java Topology Suite i Geotools. Učinkovito filtriranje prostornih podataka ostvareno je pomoću particioniranja skupa pretplata pomoću različitih strategija particioniranja. Izlaz sustava je poruka u formatu JSON koja sadrži identifikator objave i pripadne pretplate. U evaluaciji rješenja isprobane su strategije particioniranja pomoću Hilbertove krivulje, KDB-stabla, Q-stabla i R-stabla. Dodatno, za poboljšanje rezultata ispitano je i korištenje geoprostornih indeksa ostvarenih pomoću R-stabla i Q-stabla. U evaluaciji je također ispitan utjecaj korištenja pričuvne memorije za spremanje skupa pretplata.

Izvorni jezik
Hrvatski

Znanstvena područja
Elektrotehnika, Računarstvo

POVEZANOST RADA