hrvatski

Mjerenje performanci platforme Apache Beam u obradi prostorno vremenskih tokova podataka

Razvojem interneta stvari počinje se detaljnije razmatrati problematika obrade velikih količina podataka. Sustavi za upravljanje tokom podataka posjeduju mehanizme koji omogućuju obradu podataka u stvarnome vremenu, stoga se koncept toka podataka počinje koristiti za obradu podataka iz domene interneta stvari. Ovisno o zahtjevima sustava, potrebno je odabrati odgovarajući alat za obradu toka podataka. Platforma Apache Beam nudi uniformno sučelje koje omogućava obradu prostorno-vremenskih tokova podataka pomoću većeg broja alata za obradu toka podataka bez poznavanja detalja njihove implementacije. Za mjerenje performanci platforme Apache Beam korišteni su podaci iz domene interneta stvari. Mjerenje se sastojalo od računanja propusnosti alata Apache Flink i Apache Spark koristeći varijabilan broj procesorskih jezgri HTC Cloud infrastrukture. Rezultati su pokazali da povećanjem broja procesorskih jezgri raste propusnost sustava, ali samo do gornje granice broja procesorskih jezgri. Za određivanje optimalnog broja procesorskih jezgri potrebno je poznavati zahtjeve sustava te empirijski testirati performance sustava koristeći varijabilan broj procesorskih jezgri.

Apache Beam ; Apache Spark ; Apache Flink ; Apache Kafka ; HTC Cloud ; Internet stvari ; Propusnost ; Tok podataka

nije evidentirano