Naslov
Jezični model temeljen na neuronskoj mreži
(Neural language model)

Autori
Stamenković, Florijan

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Fakultet elektrotehnike i računarstva

Mjesto
Zagreb

Datum
14.07

Godina
2015

Stranica
42

Mentor
Golub, Marin

Neposredni voditelj
Čupić, Marko

Ključne riječi
jezični model ; obrada prirodnog jezika ; zaglađivanje \textit{;n};-grama ; Kneser-Ney ; neuronska mreža ; log-bilinear ; Microsoft Research Sentence Completion Challenge ; raspodjeljene reprezentacije ; grafički procesor ; Cuda
(language model ; natural language processing ; n-gram smoothing ; Kneser-Ney ; neural networks ; log-bilinear ; Microsoft Research Sentence Completion Challenge ; distributed representations ; Word2Vec ; GPU ; Cuda)

Sažetak
U ovom diplomskom radu razmatraju se četiri različita pristupa izgradnji jezičnih modela. U uvodu se daje kratak osvrt na moguće primjene jezičnih modela općenito. Potom se definiraju modeli bazirani na zaglađenom prebrojavanju n- grama (korištenjem aditivnog zaglađivanja i zaglađivanja Kneser-Ney metodom), umjetnoj neuronskoj mreži bez skrivenih slojeva, log- bilinearnom modelu i ograničenom Boltzmannovom stroju. Razmatraju se teoretske i implementacijske posebnosti opisanih modela. Potom se modeli vrednuju standardnim mjerama i po uspješnosti na zadatku Microsoft Research Sentence Completion. Dobiveni rezultati se uspoređuju s rezultatima iz sličnih radova. Daje se kratko razmatranje vremenske i memorijske složenosti izrade i korištenja modela, kao i usporedba vremena treniranja korištenjem središnjih i grafičkih procesora.

Izvorni jezik
Hrvatski

Znanstvena područja
Računarstvo

POVEZANOST RADA