3D modeli iz posnetkov drona prostega sloga: 4 koraki

2025 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2025-01-23 15:09

Video posnetki brezpilotnih letal so v zadnjih letih res eksplodirali in obstaja ogromno nadarjenih pilotov, ki s svojimi kvadrokopterji in slušalkami za prvo osebo naredijo najbolj akrobatske videoposnetke. Moj brat Johnny FPV je eden od teh pilotov, zato sem želel preveriti, ali je mogoče iz njegovih posnetkov v prostem slogu rekonstruirati okolja, v katera leti.

Stabilni posnetki zaklenjenih brezpilotnih letal, ki so zanimivi, lahko zagotovo ustvarijo 3D-model visoke zvestobe, kot je opisano tukaj, toda kaj se zgodi, ko so posnetki tako frenetični, kot je ta?

1. korak: Predobdelajte svoj video

Ko imate posnetke iz zraka, je potrebna nekaj predhodne obdelave. Uporabljam Adobe Media Encoder, vendar bi morala za to poskrbeti skoraj vsaka programska oprema za urejanje videa.

Izbral sem kratek posnetek (~ 11 sekund) in spremenil hitrost sličic z 29,77 na 30 sličic na sekundo ter novi video shranil v želeno mapo.

Nato uporabljam FFMPEG za izvoz vseh drugih okvirjev videoposnetka kot jpg. Če niste seznanjeni, je FFMPEG nabor orodij ukazne vrstice, ki omogoča obdelavo in pretvorbo skoraj vseh vrst zvoka ali videa, na katere se spomnite. Obstaja plačljiva programska oprema, ki vam bo omogočila, da počnete veliko istih stvari, če pa ste pripravljeni malo delati z ukazno vrstico, je to lahko neverjetno močno orodje.

Dober vodnik za namestitev FFMPEG je na voljo tukaj.

Imenik boste želeli spremeniti v mesto slikovne datoteke (cd) in uporabiti naslednji skript:

ffmpeg -i (ime vaše video datoteke) -vf fps = 15 exp%03d.jpg

Spreminjanje fps bo seveda spremenilo število slik, izvoženih na sekundo videoposnetka. To sega nazaj v to, zakaj sem spremenil fps videoposnetka z 29,97 na 30- zajem 15 slik na sekundo bo zdaj preprosto zajel vse druge kadre iz videoposnetka. Če bi želeli vsak šesti okvir, bi ga nastavili na 5 sličic na sekundo … itd.

"exp %03d.jpg" povzroči, da se slike shranijo kot exp000.jpg, kjer so slike oštevilčene zaporedno s tremi številkami- če imate daljši video posnetek in želite izvoziti več kot 999 slik, bi zapis %04d vse slike s štirimi številkami; lahko izvozite do 9999.

(Opomba: "ffmpeg -i (ime vaše video datoteke) -r (framerate) -f image2 exp%03d.jpg" deluje tudi za pridobivanje sličic iz videa, vendar iz kakršnega koli razloga dobim boljše oblake točk iz slik, obdelanih v prejšnja metoda)

2. korak: Uvozite fotografije in ustvarite oblak točk

Ko imate nabor slik, lahko začnete z običajnim potekom fotogrametrije. Uporabljam Agisoft PhotoScanPro, drugi programi, kot je Autodesk Remake, pa bi bili verjetno enako uspešni (če ne celo bolj uspešni).

Po uvozu fotografij sem kalibracijo fotoaparata nastavil tudi na Fisheye, saj je ta posnetek prvotno prišel iz GoPro. Nekaj minut kasneje obdelave in začne se pojavljati nekaj 3D informacij! Oblak točk morda ne izgleda veliko in je sestavljen le iz nekaj tisoč točk, zato še ni dovolj za izračun mreže. Iz tega sem zgradil gost oblak točk in zdaj imam za delo približno 200.000 točk.

3. korak: Zgradite mrežo

Zdaj, ko imamo za delo vse te točke, lahko izračunamo mrežo. Uporabljam relativno veliko število obrazov in omogočam interpolacijo- zaradi tega bo mrežica nekoliko bolj "mehka", vendar bo na koncu veliko manj manjkajočih površin in lukenj v očesu. Po nekaj minutah obdelave začnemo imeti rezultat, ki spominja na arhitekturo, po kateri je letel brezpilotni letalnik!

4. korak: Tekstura in končni rezultati

Photoscan vam omogoča tudi, da iz vhodnih slik ustvarite teksturo za mrežo, kar modelu daje zadnjo podrobnost. Glede rezultatov tega procesa imam mešane občutke (obstajajo boljši načini za izdelavo natančnega modela), vendar se mi zdi na splošno neverjetno, da lahko kateri koli model sploh pride iz takšnih norčavih posnetkov!

Nadaljnja navodila, ki bi jih lahko ujel pri tem projektu, bi lahko bila zgostitev površin v vodotesne modele za 3D tiskanje ali pa bi postali del nadrealistične pokrajine VR.