hrvatski

Obrada velikih podataka korištenjem grafičkih procesora na platformi Apache Spark

Apache Spark je programski okvir za obradu velikih skupova podataka koji obradu može obavljati na jednom ili više računala. Nudi razvojne API-je za nekoliko programskih jezika od kojih je u studijskom slučaju ovog rada korištena Java. Programske naredbe iz dostupnih razvojnih API-ja izvršavaju se na procesorskoj jedinici - procesoru. Procesor je dizajniran za brzo rješavanje širokog raspona zadataka, ali je ograničen u istodobnosti zadataka koji se mogu izvoditi. Masivnu istodobnost izvršavanja zadataka nudi grafička procesorska jedinica - grafički procesor. Tvrtka NVIDIA razvila je akcelerator RAPIDS namijenjen za grafičke procesore proizvođača NVIDIA. Uključivanjem akceleratora u Sparkove programe koji koriste DataFrame API, određene programske naredbe iz tog API-ja, za koje je podrška razvijena, prebacuju svoje izvođenje s procesora na grafički procesor. Time se paralelizira i ubrzava obrada podataka. U ovom radu je teorijski opisana platforma Apache Spark i akcelerator RAPIDS, a njihova uporaba prikazana je u studijskom slučaju koji obrađuje podatke iz izvora podataka koji je Apache Kafka tema.

Apache Spark ; centralna procesorska jedinica ; grafička procesorska jedinica ; RAPIDS akcelerator ; Apache Kafka

nije evidentirano