Naslov
Mjerenje performanci platforme Apache Beam u obradi prostorno vremenskih tokova podataka
(Performance Measurement of the Apache Beam Platform in Processing of Spatio-Temporal Data Streams)

Autori
Žaja, Mateo

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
17.02

Godina
2021

Stranica
126

Mentor
Čavrak, Igor ; Lipić, Tomislav

Ključne riječi
Apache Beam ; Apache Spark ; Apache Flink ; Apache Kafka ; HTC Cloud ; Internet stvari ; Propusnost ; Tok podataka
(: Apache Beam ; Apache Spark ; Apache Flink ; Apache Kafka ; HTC Cloud ; IoT ; Throughput ; Data stream)

Sažetak
Razvojem interneta stvari počinje se detaljnije razmatrati problematika obrade velikih količina podataka. Sustavi za upravljanje tokom podataka posjeduju mehanizme koji omogućuju obradu podataka u stvarnome vremenu, stoga se koncept toka podataka počinje koristiti za obradu podataka iz domene interneta stvari. Ovisno o zahtjevima sustava, potrebno je odabrati odgovarajući alat za obradu toka podataka. Platforma Apache Beam nudi uniformno sučelje koje omogućava obradu prostorno-vremenskih tokova podataka pomoću većeg broja alata za obradu toka podataka bez poznavanja detalja njihove implementacije. Za mjerenje performanci platforme Apache Beam korišteni su podaci iz domene interneta stvari. Mjerenje se sastojalo od računanja propusnosti alata Apache Flink i Apache Spark koristeći varijabilan broj procesorskih jezgri HTC Cloud infrastrukture. Rezultati su pokazali da povećanjem broja procesorskih jezgri raste propusnost sustava, ali samo do gornje granice broja procesorskih jezgri. Za određivanje optimalnog broja procesorskih jezgri potrebno je poznavati zahtjeve sustava te empirijski testirati performance sustava koristeći varijabilan broj procesorskih jezgri.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo

POVEZANOST RADA