Naslov
Transformer neuronske mreže za obradu prirodnog jezika
(Transformer neural networks for natural language processing)

Autori
Petrović, Darko

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, diplomski rad, diplomski

Fakultet
Sveučilište Sjever / Odjel za multimediju

Mjesto
Varaždin

Datum
29.09

Godina
2022

Stranica
62

Mentor
Dumić, Emil

Ključne riječi
Neuronska Mreža ; Duboko Učenje ; Transformer Neuronska Mreža ; BERT ; BLEU
(Neural Network ; Deep Learning ; Transformer Neural Network ; BERT ; BLEU)

Sažetak
U ovom radu bit će ispitano nekoliko tipova transformer neuronskih mreža (Neural Networks, NN) za obradu prirodnog jezika. U radu će biti opisano područje obrade prirodnog jezika (Natural Language Processing, NLP) koja predstavlja vezu između računala i ljudskih jezika. Bit će objašnjeni i povezani pojmovi, shvaćanje prirodnog jezika (Natural Language Understanding) i stvaranje prirodnog jezika (Natural Language Generation, NLG). Najčešće se za obradu prirodnog jezika koriste različite metode strojnog učenja. Posebno će se opisati različiti tipovi dubokih neuronskih mreža koji mogu biti iskorišteni i za obradu prirodnog jezika: RNN (Recurrent Neural Network), ograđena RNN (gated RNN), LSTM (Long Short Term Memory) te transformeri. Zatim će se opisati modeli neuronskog strojnog prevođenja bazirani na pozornosti (attention-based neural machine translation). Potom će se detaljnije opisati transformer tip neuronske mreže, također baziran na pozornosti, te nekoliko tipova takvih istreniranih neuronskih mreža: BERT (Bidirectional Encoder Representations from Transformers), RoBERTa (Robustly optimized BERT pretraining approach), ALBERT (A Lite BERT) i XLNet. Usporedbu različitih metoda za strojni prijevod jednog jezika u drugi možemo napraviti koristeći BLEU ocjenu (Bilingual evaluation understudy). U praktičnom dijelu rada bit će prikazano nekoliko tipova transformera i njihovi rezultati za područje obrade prirodnog jezika. Za usporedbu će biti korištena neka od postojećih baza poput skup podataka knjiga Opus (eng. Opus books dataset) za prijevod, koristeći engleski i francuski jezik. Usporedba različitih tipova neuronskih mreža će biti dana koristeći BLEU ocjenu.

Izvorni jezik
Hrvatski

Znanstvena područja
Grafička tehnologija

POVEZANOST RADA