Uporaba fotogrametrije za ustvarjanje modelov: 9 korakov

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:03

Kdo sem jaz?

Sem Samuel Conklin in sem drugi letnik v E. L. Meyers High School. Zadnjih nekaj mesecev sem eksperimentiral s fotogrametrijo in upam, da vam bom pomagal, če se odločite za poustvarjanje tega izdelka. Zanima me, kako lahko drugi uporabijo to novo in nenehno razvijajočo se tehnologijo.

Kaj je navidezna resničnost in SteamVR?

Navidezna resničnost je nova oblika umetniškega izražanja in doživetja. To je še vedno nova meja tehnologije, saj si nešteto podjetij in ljudi prizadeva izboljšati medij. Delate si veliko medvedjo uslugo, če še niste poskusili VR, saj popolnoma zajema občutek vida in zvoka uporabnika. Ena najpomembnejših platform za virtualno resničnost je Valve's SteamVR. SteamVR uporabnikom omogoča brezplačno skupno rabo okolij in medsebojno nastavljanje kosov brez stroškov. Večinoma je odprtokodnih in omogoča nešteto slušalk. Ti vključujejo, vendar niso omejeni na serijo HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality itd. SteamVR je platforma, ki jo uporabljamo za ustvarjanje našega okolja.

Kaj je fotogrametrija in kako jo lahko uporabimo?

Fotogrametrija je postopek fotografiranja ali video posnetkov in spreminjanje slik v 3D model. Najbolj znan primer uporabe te tehnologije je Google Earth. Google uporablja satelitske posnetke in poglede ulic za rekonstrukcijo pokrajin in zgradb. Če pogledamo Google Earth, je jasno, da so imeli le nekaj slik za delo, zato bodo nekatere stavbe videti deformirane. Pri pravilni uporabi je fotogrametrija izredno prepričljiv način za ustvarjanje 3D modelov. Ta projekt uporablja to tehnologijo za ohranjanje zgodovinskih znamenitosti. Erozija in izpostavljenost elementom pomeni, da bodo zgodovinske znamenitosti sčasoma propadle in ljudje bodo nanje pozabili. S fotogrametrijo lahko digitalno ohranimo vse, zato bodo prihodnje generacije lahko doživele in cenile te strukture. To tudi pomeni, da bi lahko več ljudi po vsem svetu doživelo druge kulture brez stroškov in tveganja potovanja.

Kakšne zaloge potrebujem?

Za ta projekt sem uporabil Reality Capture, SteamVR in Krita. Obstajajo programi Autodesk, Agisoft in Zephyr, ki jih je mogoče uporabiti namesto Reality Capture, če nimate potrebnega grafičnega procesorja Nvidia. Namesto Krite je mogoče uporabiti Photoshop ali druge programe za urejanje fotografij, a ker je brezplačna in javna za uporabo, sem se zanjo odločil za ta projekt. Potrebovali boste tudi namizne slušalke VR, ki jih lahko priključite neposredno v računalnik. Končno je potrebna kakovostna kamera. Mobilna kamera je spodobna, vendar sem uporabil Nikon D7000, saj funkcija Reality Capture lahko samodejno zazna zaslonko fotoaparata, kar vodi do kakovostnejših modelov.

1. korak: Fotografiranje

To je najpomembnejši del tega projekta, saj ga morate popraviti v enem posnetku. Če tega ne storite, se morate vrniti na lokacijo in vse znova narediti.

Najprej morate najti ustrezno lokacijo in strukturo. Struktura mora biti velika in jo je enostavno prepoznati. To pomeni, da bo programska oprema za fotogrametrijo lahko zaznala razlike med strukturo in ozadjem.

Običajno je najbolje fotografirati na oblačen dan. To je zato, ker lahko sončen dan nekatere fotografije preveč osvetli in druge premalo osvetli. Prav tako lahko ustvari neželene sence. Model z malo ali brez senc bo olajšal osvetlitev v razdelku za razvoj ravni. Poleg tega programska oprema potrebuje barvno ravnovesje, da ostane enaka pri vsaki fotografiji, saj uporablja barve za izračun velikosti predmeta. Fotografiranje na oblačen dan bo izboljšalo kakovost strukture. Oblaki na nebu bodo delovali kot naravni difuzor za kamero. Bolj enakomerno bo porazdelil svetlobo, kar pomeni, da bo model med procesom upodabljanja postal natančen.

Zadnji nasvet je, da naredite čim več fotografij. Večina programov bo izbrala fotografije, ki jih bo uporabila za končni izdelek. Če naredite več fotografij, bo vse natančnejše in programu da nekaj prostora za dihanje. Za vsak model sem imel približno 150-300 fotografij.

2. korak: Začnite s programsko opremo za fotogrametrijo

Zdaj bomo fotografije uvozili v programsko opremo. Upoštevajte, da Reality Capture potrebuje grafično kartico Nvidia. Brez nje ne morete mimo razdelka Poravnaj slike.

Če imate mapo z vsemi slikami, ki jih želite uporabiti, izberite možnost Mapa v zgornjem levem kotu. To vas bo pripeljalo do upravitelja datotek in lahko izberete mapo. Vnosi vam bodo omogočili izbiro posameznih fotografij z Upraviteljem datotek.

Nato bomo začeli postopek oblikovanja modela. Na vrhu zaslona v razdelku Potek dela je razdelek Proces. Želimo pritisniti večji gumb Start. S tem se bodo slike začele poravnavati. Četrta fotografija na kratko prikazuje, kaj se dogaja v tem procesu. Prepoznal bo levo oko jelena in razdaljo primerjal z drugimi fotografijami. Še naprej bo primerjal različne fotografije, dokler ne pregleda vseh možnih kombinacij. Ta korak je dokončan, če vidite majhne pike, ki spominjajo na strukturo.

3. korak: Izračunajte in poenostavite

Naslednji korak je izračun modela. Če želite to narediti, v razdelku Proces kliknemo na Izračunaj model. To bo neposredno prevedlo vse, kar najde na fotografijah, v 3D -obliko. Rezultati so spodobno blizu temu, kako želimo, da bi izgledal model, vendar obstajajo tri težave s to različico modela. Prvič, v modelu so luknje, ki niso v resnični strukturi. Drugič, površina je preveč neravna. Ker program približuje svoje izračune, bo napačno naredil nekaj gladkih površin. Tretjič, preveč je trikotnikov. Vsak model v programu Reality Capture je ustvarjen z majhnimi trikotniki. Vsak trikotnik predstavlja majhno površino modela. Za optimizacijo modela želimo čim manj trikotnikov. Če je trikotnikov preveč, lahko to povzroči težave pri delovanju.

Te težave je mogoče rešiti z orodjem Poenostavi. Vsi modeli bodo imeli po fazi izračuna modela 3 000 000 trikotnikov, zato se lahko odločimo, da bomo to število povečali ali zmanjšali. Za vse modele, kot so tisti, najdeni v tem projektu, sem število trikotnikov znižal na 1 000 000. Rezultat je mogoče najti na drugi sliki, kjer so vse neravne površine bolj gladke in je manj lukenj. Poleg tega bo z upodabljanjem manjših trikotnikov zmogljivost boljša, ko pridemo v VR.

4. korak: Barva in tekstura

Zdaj bo model potreboval barvo in teksturo, da bo postal še bolj resničen. Ta dva dela sta si podobna, vendar se razlikujeta v načinu delovanja. Z uporabo barv, ki jih najdete v razdelku Postopek, bo program obarval model. Orodje bo posnelo slike, ki so bile uporabljene za izdelavo modela, in jih ovijalo po različnih površinah vašega modela. Po drugi strani pa bo tekstura obarvala poenostavljene dele modela. Če pogledamo prvo sliko, je jasno vidno, kako je program slike ovil okoli modela, na drugi sliki po teksturiranju pa so ostre stranice slik zdaj zglajene.

5. korak: Izvoz in SteamVR

V programu Reality Capture bomo modele prenesli v SteamVR. Na vrhu zaslona pod Izvoz izberite Mreža, ki se nahaja poleg razdelka Proces. Videti bi morali to pojavno okno, ki vam omogoča spreminjanje nastavitev in parametrov modela. Najbolje je, da vse nastavitve nastavite na privzete, razen da spremenite obliko teksture JPEG. Program bo zdaj izvozil datoteko v formatu OBJ, ki je mrežna datoteka, in JPEG, ki je datoteka teksture za model. Za referenčne namene bi moral biti JPEG videti kot druga slika v tem koraku.

Zdaj moramo uvoziti naše modele v SteamVR. Najprej odprite SteamVR, nato se pomaknite do možnosti Ustvari/spremeni okolje, ki je na zavihku Delavnica. Orodja za delavnico SteamVR se bodo zdaj odprla. Izberite Ustvari prazen dodatek in kliknite Orodja za zagon.

Brskalnik Asset se bo zdaj odprl z različnimi materiali in modeli, ki so že vključeni. Zgoraj levo je ikona s simbolom kladiva. To je vgrajen urejevalnik SteamVR Hammer, ki vam omogoča ustvarjanje zemljevidov. Zemljevidi so okolje, v katerem bo uporabnik VR živel med igranjem.

6. korak: Ustvarite svoj zemljevid SteamVR

Ko je urejevalnik Hammer odprt v SteamVR -ju, lahko zdaj ustvarimo kocko. Za ustvarjanje okolja želimo ustvariti kocko. Program vam omogoča, da spremenite velikost kocke, preden je pritrjena. Trenutno so vidne samo zunanje površine kocke. S pritiskom na CTRL+F se vse površine obrnejo in kocko spremenijo v prostor. Poleg tega boste morali dodati objekt, imenovan info_player_start, ki bo Hammerju povedal, kam naj se ob nalaganju programa pojavi uporabnik.

Da bi bila soba bolj realistična, moramo dodati tudi teksture. V urejevalnik materialov lahko dodamo nekaj slik po meri. To je krožna ikona desno od gumba Hammer v brskalniku sredstev. Z izbiro urejevalnika materialov boste preusmerjeni v novo okno, ki vam bo omogočilo uvoz slike v teksturo. Uporabite lahko svoje slike ali jih dobite s spletnih mest z teksturami, kot je textures.com. Kliknite gumb Datoteka pod izbiro barve, da izberete sliko, ki jo želite uporabiti. Ko izberete sliko, jo shranite tako, da pritisnete ikono diskete v zgornjem levem kotu okna Urejevalnik materialov. Zdaj zaprite urejevalnik materialov in se pomaknite nazaj do brskalnika sredstev. Tu poiščite datoteko teksture, ki jo želite uporabiti, nato pa jo kliknite in povlecite v urejevalnik kladiva. V tem oknu lahko svojo teksturo uporabite za različne ploskve kocke.

V sobo moramo dodati tudi razsvetljavo. Če želite to narediti, na naš zemljevid postavimo light_omni ali light_spot, ki se nahaja v razdelku Entitete levo od pogleda zemljevida. Light_omni bo sijal svetlobo v vseh smereh, light_omni pa v eno posebno smer. Za ta projekt sem uporabil vsaj dve svetlobni točki za vsak predmet in eno svetlo_omni za osvetlitev prostora.

7. korak: Dodajanje naših predmetov na zemljevid

Zdaj je čas, da začnemo premikati naše predmete na zemljevid. V brskalniku sredstev desno od ikone urejevalnika materialov je urejevalnik modelov, ki spominja na ikono humanoida. Ko odprete urejevalnik modelov, boste dobili možnost brskanja ali izdelave novega VDML, ki je različica datoteke OBJ urejevalnika kladiva. Izberite možnost, da ustvarite nov VDML, zato boste morali narediti mapo. Ta mapa bo shranila datoteko VDML. Prepričajte se, da je v mapi Dodaj na, in pritisnite nadaljevanje.

To vas bo pripeljalo do zaslona z vašim modelom, ki ima belo teksturo. Če želite dodati teksturo za ta model, v orodni vrstici na levi izberite Materiali. To vas bo pripeljalo do urejevalnika materialov in v izvozu Reality Capture lahko izberete JPEG. Shranite teksturo in model s klikom na ikono diskete. Vrnite se v urejevalnik Hammer.

V Hammerju lahko model povlečete in spustite iz brskalnika sredstev na zemljevid. Model bo najverjetneje majhen, zato ga boste morali spremeniti. S pritiskom tipke T na tipkovnici lahko spremenite njen položaj na zemljevidu. S pritiskom na E se spremenijo razmerja modela, medtem ko ga R zasuka.

8. korak: Izdelava oznak predmetov

Oznake objektov, ki so vidne ob vsakem mejniku, zagotavljajo kontekst in zgodovino za izboljšanje uporabniške izkušnje. Za svoje oznake objektov sem preprosto fotografiral informativne plošče na vsaki lokaciji, da sem zlahka zapisal pomembne podatke, ki sem jih želel uporabiti kasneje. Nato sem uporabil Krita, brezplačen program za urejanje fotografij, za ustvarjanje oznak predmetov, vključno z dodatnimi slikami in besedilom.

Za Miner Park in Anchor stran sobe ni bilo težav z dodajanjem oznak kot tekstur. Preprosto jih dodajte v brskalnik sredstev prek urejevalnika materialov in dodajte sliko v blok, ki ga lahko ustvarite v urejevalniku kladiva. Težave so nastale, ko sem ustvaril deske za drugo stran sobe. Vse besedilo in slike so bile nazaj in v urejevalniku ni bilo jasnega načina, da bi teksture obrnili. Da bi to odpravil, sem se vrnil v Krito in obrnil deske za jelena in medveda in na srečo je to odpravilo težavo.

Poleg tega sem dodal različne podobe Wilkes-Barreja, saj sem želel ustvariti sobo, ki je imela občutek in ambient butičnega muzeja.

9. korak: Zaključek

Skratka, navidezna resničnost in fotogrametrija lahko močno izboljšata nešteto industrij, med drugim tudi šport, nepremičnine in forenziko. Danes sem s fotogrametrijo ohranil nekaj majhnih, a pomembnih delov lokalne zgodovine domačega kraja. VR in fotogrametrija sta še vedno eksperimentalni tehnologiji, ki vas lahko včasih izzivata. Kljub nekaterim pomanjkljivostim je količina inovativne uporabe obeh procesov vznemirljiva in neomejena. Zahvaljujem se vam za branje o tem projektu in upam, da vas je to navdihnilo, da poskusite nekaj novega z navidezno resničnostjo.

Povezavo za prenos projekta najdete tukaj.