Napredna pretraga

Pregled bibliografske jedinice broj: 1015086

Klasifikacija podataka korištenjem radnog okvira Apache Spark


Mihaljević, Patrik
Klasifikacija podataka korištenjem radnog okvira Apache Spark 2019., diplomski rad, diplomski, Fakultet elektrotehnike i računarstva, Zagreb


Naslov
Klasifikacija podataka korištenjem radnog okvira Apache Spark
(Data Classification with Apache Spark Framework)

Autori
Mihaljević, Patrik

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
12.07.

Godina
2019

Stranica
43

Mentor
Pripužić, Krešimir

Neposredni voditelj
Katušić, Damjan

Ključne riječi
Klasifikacijski algoritmi ; raspodijeljeni sustav ; Apache Spark ; MLlib ; strojno učenje, logistička regresija ; SVM ; slučajne šume ; naivni Bayesov klasifikator
(Classification algorithms ; distributed system ; Apache Spark ; MLlib ; machine learning ; logistic regression ; SVM ; random forrest ; naive Bayes)

Sažetak
U ovom radu dan je pregledan prikaz najpoznatijih implementiranih klasifikacijskih algoritama koje obuhvaća programska knjižica MLlib programskog okvira Apache Spark. Zbog Spark-ovog nedostatka vizualizacije obrade i analize značajki podataka, korištena je programska knjižica Pandas u programskom jeziku Python. Pri konstrukciji skupa značajki koje će biti korištene za treniranje modela, izrađen je i sam konstrukcijski proces također u programskom jeziku Python. Treniranje modela, evaluacija te optimalan odabir klasifikacijskog modela ostvareni su u programskom jeziku Scala, uz korištenje programskog okvira Apache Spark koji omogućava raspodijeljeno izvođenje. Evaluacija i odabir optimalnog klasifikacijskog modela su provedeni na fakultetskom računalnom grozdu na stvarnim podacima proučavanog slučaja.

Izvorni jezik
Hrvatski

Znanstvena područja
Elektrotehnika, Računarstvo



POVEZANOST RADA


Projekt / tema
HRZZ-UIP-2017-05-9066 - Učinkovita stvarnovremenska obrada brzih geoprostornih podataka (Krešimir Pripužić, )

Ustanove
Fakultet elektrotehnike i računarstva, Zagreb