Naslov
Indeksiranje velikih kolekcija dokumenata u grozdu računala
(Indexing large document collections in computer cluster)

Autori
Antonić, Aleksandar

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, preddiplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
17.07

Godina
2009

Stranica
42

Mentor
Podnar Žarko, Ivana

Ključne riječi
pretraživanje sadržaja; MapReduce; Nutch; Hadoop
(information retrieval; MapReduce; Nutch; Hadoop)

Sažetak
Pretraživanje je proces pronalaska traženih dokumenata iz ulazne kolekcije. Postoje dva modela pretraživanja, Booleov model i prostorno vektorski model, u praksi se koristi samo prostorno vektorski model. Tražilice izrañuju indeks kolekcije dokumenata te pomoću njega pretražuju. MapReduce je tehnologija koja olakšava procesiranje i kreiranje velikih kolekcija dokumenata. Tehnologija se zasniva na dva procesa, map i reduce, gdje je izlaz map procesa ulaz u reduce proces. MapReduce tehnologija se koristi paralelizmom u svom radu, te postiže vrlo dobre rezultate u distribuiranim sustavima. Hadoop je programski okvir nastao na temeljima MapReduce tehnologije, koji korisnicima omogućava jednostavno pisanje distribuiranih aplikacija. Korisnici Hadoopa ne moraju brinuti oko koordinacije poslova i distribucije podataka. Tražilica Nutch se koristi Hadoopom prilikom rada u distribuiranom načinu. Testovima je pokazano da se porastom broja čvorova znatno smanjuje vrijeme obrade podataka, tj. vrijeme indeksiranja.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo

POVEZANOST RADA