Naslov
Algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala
(Algorithm for adaptive temporal frame interpolation based on spatio-temporal features of video signal)

Autori
Vranješ, Denis

Vrsta, podvrsta i kategorija rada
Ocjenski radovi, doktorska disertacija

Fakultet
Fakultet elektrotehnike, računarstva i informacijskih tehnologija Osijek

Mjesto
Osijek

Datum
20.09

Godina
2016

Stranica
147

Mentor
Rimac-Drlje, Snježana

Ključne riječi
procjena pokreta; interpolacija slike; prostorno-vremenska aktivnost videosignala; kvaliteta slike; složenost algoritma
(motion estimation; image interpolation; spatio-temporal activity of the video sigal; image quality; algorithm complexity)

Sažetak
Videosignal snimljen modernim uređajima zbog svoje veličine nije pogodan za prijenos ili pohranu na neki od medija. Zbog toga je u postupku kodiranja potrebno smanjiti njegovu veličinu, što se može učiniti primjenom efikasnih postupaka kompresije, ali i smanjenjem prostorne i/ili vremenske rezolucije. Paralelno s razvojem uređaja za snimanje razvili su se i uređaji za prikazivanje videosignala (pametni telefoni, tableti, prijenosna računala) koji, neovisno o veličini zaslona, mogu prikazivati video signal visoke rezolucije. Zbog svega navedenog sve više je primjera kod kojih je nakon dekodiranja potrebno povećati prostornu i/ili vremensku rezoluciju videosignala. Kod povećanja vremenske rezolucije interpolacijom slika u nekomprimiranom videosignalu, što je problem kojim se bavi ova disertacija, cjelokupna pogreška prilikom interpolacije nastaje zbog pokreta objekata i promjene sadržaja. Primjenom teorijskog modela videosignala analiziran je utjecaj vremenske udaljenosti, D, između slika koje se koriste za interpolaciju te utjecaj prostornih i vremenskih značajki videosignala na pogrešku interpolacije primjenom postupaka jednosmjernih procjena pokreta unaprijed i unazad. Predložen je i teorijski model za postupak interpolacije usrednjavanjem, FA, te je izveden izraz za autokorelacijsku funkciju pogreške interpolacije. Oba modela pokazuju dobro poklapanje teorijskih i empirijskih rezultata za sekvence s malim TI, te približno linearan porast varijance pogreške i MSE s porastom vrijednosti D. Također, teorijski i empirijski rezultati pokazali su da za sekvence s malom vremenskom aktivnošću jednostavni postupak usrednjavanja, FA, može ostvariti podjednaku (u nekim slučajevima i manju) pogrešku od znatno složenijeg postupka koji koristi procjenu pokreta, što je iskorišteno u predloženom algoritmu za interpolaciju u svrhu smanjenja njegove složenosti. Utvrđeno je i da su u slučaju male vrijednosti parametra vremenske aktivnosti, TIt, srednje vrijednosti vektora pomaka za pojedinu sliku vrlo male, što navodi na zaključak da je malim parametrom vremenske aktivnosti, TI, predstavljen mali pokret između dvije slike. Analizom utjecaja veličine bloka (za koji se računa vektor pomaka) na pogrešku procjene vektora pomaka utvrđeno je da je pogreška najmanja za blok veličine 16x16 elemenata slike, a najveća za blok veličine 4x4 elementa slike. Budući da je prirodno kretanje objekata nelinearno, posebice u slučaju brzih pokreta, i često s promjenjivom brzinom, analiziran je utjecaj tih dviju pojava na točnost vektora pomaka te je pokazano je da nelinearnost 144 pokreta unosi znatno manju pogrešku u odnosu na promjenu brzine. U slučaju kada pokret nije brz, uvođenje promjenjive brzine gibanja objekata ne povećava zamjetno točnost procjene, pa se s ciljem izbjegavanja povećanja složenosti algoritma predloženog u disertaciji koristi procjena pokreta uz pretpostavku konstantne brzine kretanja objekata. Na temelju provedene analize prostorno- vremenskih značajki videosignala i njihovog utjecaja na pogrešku interpolacije, u okviru ove disertacije predložen je algoritam za adaptivnu vremensku interpolaciju slika zasnovan na prostorno-vremenskim značajkama videosignala. Njegovom se primjenom zadržava visoka razina kvalitete interpoliranih slika uz značajno smanjenje složenosti jer je na temelju provedenih analiza prostorno-vremenskih značajki videosignala uvedena adaptivnost u ovisnosti o trenutnoj vrijednosti parametra vremenske aktivnosti, TIt. U slučaju kada je parametar vremenske aktivnosti između slika manji ili jednak prethodno određenoj vrijednosti praga, δ, radi se interpolacija korištenjem FA metode, a u suprotnom slučaju interpolacija se zasniva na procjeni pokreta. U slučajevima kada je TIt > δ, rade se odvojene jednosmjerne procjene unaprijed i unazad kombinacijom procjene pokreta za blokove (BMA) i optičkog toka. Kako bi se osigurala mala složenost, u predloženom algoritmu preciznost procjene vektora pomaka na razini manjoj od jednog elementa slike ostvaruje se razvojem u Taylorov red. U svrhu zaglađivanja vektora pomaka, polje vektora pomaka filtrira se medijan filtrom. Kompenzacijom pokreta dobiju se dvije slike prediktora čijom se težinskom sumom dobije konačna interpolirana slika. Predloženi algoritam uspoređen je s dva postojeća algoritma, koji su među najboljima u dostupnoj literaturi, po složenosti postupka i kvaliteti interpolirane slike. Rezultati su pokazali da predloženi algoritam ima najbolji omjer složenosti postupka i kvalitete interpolirane slike.

Izvorni jezik
Hrvatski

Znanstvena područja
Elektrotehnika

POVEZANOST RADA