Pregled bibliografske jedinice broj: 1015086
Klasifikacija podataka korištenjem radnog okvira Apache Spark
Klasifikacija podataka korištenjem radnog okvira Apache Spark, 2019., diplomski rad, diplomski, Fakultet elektrotehnike i računarstva, Zagreb
CROSBI ID: 1015086 Za ispravke kontaktirajte CROSBI podršku putem web obrasca
Naslov
Klasifikacija podataka korištenjem radnog okvira Apache Spark
(Data Classification with Apache Spark Framework)
Autori
Mihaljević, Patrik
Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski
Fakultet
Fakultet elektrotehnike i računarstva
Mjesto
Zagreb
Datum
12.07
Godina
2019
Stranica
43
Mentor
Pripužić, Krešimir
Neposredni voditelj
Katušić, Damjan
Ključne riječi
klasifikacijski algoritmi ; raspodijeljeni sustav ; Apache Spark ; MLlib ; strojno učenje, logistička regresija ; SVM ; slučajne šume ; naivni Bayesov klasifikator
(classification algorithms ; distributed system ; Apache Spark ; MLlib ; machine learning ; logistic regression ; SVM ; random forrest ; naive Bayes)
Sažetak
U ovom radu dan je pregledan prikaz najpoznatijih implementiranih klasifikacijskih algoritama koje obuhvaća programska knjižica MLlib programskog okvira Apache Spark. Zbog Spark-ovog nedostatka vizualizacije obrade i analize značajki podataka, korištena je programska knjižica Pandas u programskom jeziku Python. Pri konstrukciji skupa značajki koje će biti korištene za treniranje modela, izrađen je i sam konstrukcijski proces također u programskom jeziku Python. Treniranje modela, evaluacija te optimalan odabir klasifikacijskog modela ostvareni su u programskom jeziku Scala, uz korištenje programskog okvira Apache Spark koji omogućava raspodijeljeno izvođenje. Evaluacija i odabir optimalnog klasifikacijskog modela su provedeni na fakultetskom računalnom grozdu na stvarnim podacima proučavanog slučaja.
Izvorni jezik
Hrvatski
Znanstvena područja
Elektrotehnika, Računarstvo
POVEZANOST RADA
Projekti:
HRZZ-UIP-2017-05-9066 - Učinkovita stvarnovremenska obrada brzih geoprostornih podataka (RETROFIT) (Pripužić, Krešimir, HRZZ ) ( CroRIS)
Ustanove:
Fakultet elektrotehnike i računarstva, Zagreb