SVEUČILIŠTE U ZAGREBU FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA DIPLOMSKI RAD br. 211 POSTUPCI MODELIRANJA PROČELJA ZGRADA TEMELJENIH NA FOTOGRAFIJAMA Mirjana Ostojić Zagreb, lipanj 2011. Sadržaj Uvod ...................................................................................................................................... 1 1. Postupci modeliranja urbanih okruženja ....................................................................... 2 1.1. Metode temeljene na pravilima ............................................................................. 3 1.2. Metode temeljene na fotografijama ....................................................................... 3 1.3. Metode temeljene na računalnom vidu .................................................................. 5 1.4. Kombinacija navedenih metoda ............................................................................ 7 2. Postupak modeliranja urbanih okruženja temeljen na fotografijama – implementacija 8 3. Obrada ulaznih fotografija ............................................................................................... 10 3.1. Detekcija rubova ....................................................................................................... 10 3.1.1. Cannyjev algoritam detekcije rubova ................................................................ 10 3.2.1. Implementacija Cannyjevog algoritma detekcije rubova .................................. 15 3.2. Houghova transformacija ........................................................................................ 17 3.2.1. Problem Houghove transformacije .................................................................... 18 3.2.2. Implementacija Houghove transformacije......................................................... 20 4. Dekompozicija pročelja ................................................................................................... 24 4.1. Dekompozicija temeljena na mreži Houghovih linija i Cannyjevih rubova ............ 24 4.2. Dekompozicija uz FloodFill agoritam ..................................................................... 27 4.2.1. FloodFill algoritam ........................................................................................... 27 4.2.2. Implementacija FloodFill algoritma .................................................................. 29 4.2.3. Dekompozicija uz interakciju korisnika ............................................................ 30 5. Kreiranje dubinske mape ................................................................................................. 32 6. Izrada 3D modela............................................................................................................. 34 7. Rezultati ........................................................................................................................... 37 8. Zaključak ......................................................................................................................... 46 Literatura ............................................................................................................................. 47 Sažetak ................................................................................................................................. 49 Summary .............................................................................................................................. 50 Uvod Modeliranje pročelja urbanih okruženja posljednjih godina postaje sve popularnije. Porastom popularnosti računalnih igara, filmova i popularnih servisa poput Google Earth-a i Microsoft Visual Earth-a, u kojima se nastoji prikazati što vjerniji prikaz urbanih okruženja, raste i broj tehnika koje pokušavaju što vjernije i efikasnije prikazati virtualni grad. Kako bi se postigao fotorealističan izgled stvorenog modela koriste se uglavnom obraĎene fotografije okruženja koja se modeliraju. U nastavku će biti predstavljen rad na aplikaciji kojom se nastoji što bolje prikazati urbana okruženja. Prije opisa rada aplikacije i rezultata koji su dobiveni, objasnit će se teorija na kojoj je rad temeljen, a uključuje rad na računalnoj grafici, animaciji i računalnom vidu, te digitalnoj obradi slike. 1 1. Postupci modeliranja urbanih okruženja Najopćenitija podjela postupaka modeliranja urbanih okruženja jest podjela na:  postupke koji koriste fotografije snimljene iz zraka,  postupke koji koriste fotografije snimljene na ulicama grada i  postupke koji koriste obje vrste fotografija. Ovisno o razini detalja koja se želi postići, koriste se fotografije manje ili veće razlučivosti. Postupci modeliranja urbanih okruženja korištenjem fotografija snimljenih iz zraka daju zadovoljavajuće rezultate ako nije bitno koliko su detaljni prikazi ulica grada. Npr. ako koristimo Google Earth i želimo pronaći svoju kuću, moći ćemo ju pronaći, ali ćemo ju promatrati isključivo iz ptičje perspektive i što se više približavamo kući, njen prikaz je sve mutniji. U računalnim igrama, gdje se radnja odvija u poznatim gradovima i likovi se kreću ulicama, potrebno je osmisliti postupak koji će dovoljno detaljno prikazivati zgrade ulica kako bi se stvorio realistični prikaz. Nedostatak takvih postupaka je najčešće potreba za obradom velikog broja fotografija velikih dimenzija i razlučivosti koje bi davale dovoljno detalja, a osim što ih je teško obraĎivati, nije jednostavno niti prikupiti fotografije cijelog grada. S obzirom na dosadašnje objavljene radove s konferencija i simpozija za računalnu grafiku i računalni vid, postupke modeliranja urbanih okruženja možemo podijeliti na četiri metode: 1. metode temeljene na pravilima 2. metode temeljene na fotografijama 3. metode temeljene na računalnom vidu 4. kombinacija navedenih metoda 2 1.1. Metode temeljene na pravilima Metode temeljene na pravilima uglavnom se odnose na metode inspirirane gramatikom i L-sustavima. Ovisno o rezultatu koji želimo postići te razini detalja zgrada, odrede se specifična pravila koja se primjenjuju na podacima. Nedostatak ovakve metode jest težina definiranja specifičnih pravila kako bi se generirale odreĎene graĎevine, npr. za graĎevine pravokutnog oblika sa sličnim ili ponavljajućim katovima, veličinama prozora, balkona i vrata, vrijedit će vjerojatno jedan skup pravila, dok će se za cilindarske oblike graĎevina, poput Ciboninog tornja, morati koristiti drugačiji skup pravila. Najčešće se primjenom odreĎenih pravila radi podjela graĎevine na katove, odjeljke (engl. tile) na katovima, te prozore unutar odjeljaka [9]. Najpoznatiji radovi koji su koristili metode temeljene na pravilima spomenuti su u: [2] i [9]. Slika 1. Prikaz sustava koji računa hijerarhijsku strukturu pročelja. 1.2. Metode temeljene na fotografijama Metode temeljene na fotografijama koriste se fotografijama kako bi generirale modele graĎevina. Najčešće je kod takvih metoda potrebna i interakcija korisnika, iako se većinu opcija nastoji automatizirati. Takva interaktivnost je često zamorna za korisnika, pogotovo ako se koristi veća količina ulaznih fotografija, a za većinu treba tražiti odreĎenu informaciju od korisnika. 3 Slično kao i kod metoda temeljenih na pravilima, i neke metode temeljene na fotografijama neće imati isti učinak kod različitih graĎevina. Primjerice, kod zgrada koje imaju jednostavna pročelja moguće je automatski odrediti dijelove pročelja a od korisnika zatražiti manualno upisivanje dubine dijelova čime će se ostvariti zadovoljavajući model zgrade. Ipak, za kompliciranije graĎevine potrebna je veća interakcija korisnika pa je tehnika i manje privlačna korisniku. Najpoznatiji radovi koji su se koristili metodama temeljenim na fotografijama su: [1], [4] i [8]. Slika 2. Rezultat metode temeljene na ulaznim fotografijama [1]. Pri dnu su ulazne fotografije koje sustav prima, u sredini je generirani model niza slika, a na samom vrhu približeni detalji generiranog modela. 4 1.3. Metode temeljene na računalnom vidu Metode temeljene na računalnom vidu automatski konstruiraju modele graĎevina iz fotografija. Korištenjem algoritama tipičnih za računalni vid, poput detekcija obrisa, rubova te različitih oblika na fotografijama, prepoznavanje dijelova fotografije koji se repetitivno pojavljuju i ostalih algoritama, dobivaju se podaci kojima se bez pomoći korisnika mogu rekonstruirati scene viĎene na ulaznim fotografijama. TakoĎer, računalnim vidom moguće je iz video podataka izlučiti potrebne podatke i kreirati vjeran model. Kao i u prethodnim tehnikama, što imamo bolje podatke, poput fotografija i video prikaza visoke razlučivosti, dobit ćemo i bolji rezultat. S obzirom da je zanimanje za računalni vid u porastu i s obzirom da ovakve metode daju rezultate koji su kvalitetni ali i više automatizirani, metode temeljene na računalnom vidu se razvijaju puno brže nego ostale. Poznati radovi temeljeni na ovakvim metodama su: [3], [12] i [10]. 5 Slika 3. Prikaz modela ulice i pročelja zgrada nastao metodom temeljenom na računalnom vidu 6