Naslov
Obrada velikih podataka korištenjem grafičkih procesora na platformi Apache Spark
(Big Data Processing using Graphical Processors on Apache Spark)

Autori
Lukić, Darija

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
12.07

Godina
2022

Stranica
54

Mentor
Pripužić, Krešimir

Ključne riječi
Apache Spark ; centralna procesorska jedinica ; grafička procesorska jedinica ; RAPIDS akcelerator ; Apache Kafka
(Apache Spark ; central processing unit ; graphics processing unit ; RAPIDS accelerator ; Apache Kafka)

Sažetak
Apache Spark je programski okvir za obradu velikih skupova podataka koji obradu može obavljati na jednom ili više računala. Nudi razvojne API-je za nekoliko programskih jezika od kojih je u studijskom slučaju ovog rada korištena Java. Programske naredbe iz dostupnih razvojnih API-ja izvršavaju se na procesorskoj jedinici - procesoru. Procesor je dizajniran za brzo rješavanje širokog raspona zadataka, ali je ograničen u istodobnosti zadataka koji se mogu izvoditi. Masivnu istodobnost izvršavanja zadataka nudi grafička procesorska jedinica - grafički procesor. Tvrtka NVIDIA razvila je akcelerator RAPIDS namijenjen za grafičke procesore proizvođača NVIDIA. Uključivanjem akceleratora u Sparkove programe koji koriste DataFrame API, određene programske naredbe iz tog API-ja, za koje je podrška razvijena, prebacuju svoje izvođenje s procesora na grafički procesor. Time se paralelizira i ubrzava obrada podataka. U ovom radu je teorijski opisana platforma Apache Spark i akcelerator RAPIDS, a njihova uporaba prikazana je u studijskom slučaju koji obrađuje podatke iz izvora podataka koji je Apache Kafka tema.

Izvorni jezik
Hrvatski

Znanstvena područja
Elektrotehnika, Računarstvo

POVEZANOST RADA