Avtonomni dron z infrardečo kamero za pomoč prvim odzivnikom: 7 korakov

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:04

Po poročilu Svetovne zdravstvene organizacije vsako leto zaradi naravnih nesreč umre okoli 90.000 ljudi in prizadene skoraj 160 milijonov ljudi po vsem svetu. Naravne nesreče vključujejo potrese, cunamije, vulkanske izbruhe, plazove, orkane, poplave, požare, vročinske valove in suše. Čas je bistvenega pomena, saj se možnost preživetja začne zmanjševati z vsako minuto, ki mine. Prvi reševalci imajo lahko težave pri iskanju preživelih v poškodovanih hišah in ogrožajo njihovo življenje, medtem ko jih iščejo. Sistem, ki lahko na daljavo locira ljudi, bi močno povečal hitrost, s katero jih lahko prvi posredovalci evakuirajo iz stavb. Po raziskavi drugih sistemov sem ugotovil, da so nekatera podjetja ustvarila kopenske robote ali pa so ustvarila brezpilotne letalnike, ki lahko sledijo ljudem, vendar delujejo le zunaj stavb. Kombinacija globinskih kamer skupaj s posebnimi infrardečimi kamerami lahko omogoča natančno sledenje notranjemu prostoru in zaznavanje temperaturnih sprememb, ki predstavljajo ogenj, ljudi in živali. Z uvedbo senzorjev s prilagojenim algoritmom na brezpilotnem letalu (UAV) bo mogoče avtonomno pregledati hiše in določiti lokacijo ljudi in živali, da jih čim prej rešimo.

Prosim, glasujte zame na natečaju Optika!

1. korak: Zahteve pri oblikovanju

Po raziskovanju razpoložljivih tehnologij sem se s strokovnjaki za strojni vid in prvim odzivnikom pogovarjal o možnih rešitvah, da bi našel najboljšo metodo za odkrivanje preživelih na nevarnih območjih. Spodnje informacije navajajo najpomembnejše zahtevane funkcije in elemente oblikovanja sistema.

• Obdelava vida - sistem mora zagotoviti hitro hitrost obdelave za izmenjavo informacij med senzorji in odzivom umetne inteligence (AI). Na primer, sistem mora biti sposoben zaznati stene in ovire, da se jim izogne, hkrati pa najti ljudi, ki so v nevarnosti.
• Avtonomni - sistem mora delovati brez vnosa uporabnika ali operaterja. Osebje z minimalnimi izkušnjami s tehnologijo UAV bi moralo pritisniti enega ali več gumbov, da bi sistem sam začel skenirati.
• Domet - obseg je razdalja med sistemom in vsemi drugimi objekti v bližini. Sistem mora biti sposoben zaznati hodnike in vhode z razdalje najmanj 5 metrov. Idealni minimalni doseg je 0,25 m, tako da je mogoče zaznati bližnje predmete. Večje kot je območje zaznavanja, krajši je čas odkrivanja preživelih.
• Natančnost navigacije in zaznavanja - sistem mora biti sposoben natančno najti vse vhode in ne udariti v nobene predmete, hkrati pa zaznati nenaden pojav predmetov. Sistem mora z različnimi senzorji najti razliko med ljudmi in neživimi predmeti.
• Trajanje delovanja - Sistem bi moral zdržati 10 minut ali dlje, odvisno od tega, koliko sob potrebuje za skeniranje.
• Hitrost - skenirati bi morala celotno stavbo v manj kot 10 minutah.

2. korak: Izbira opreme: Metoda mobilnosti

Štirikopter je bil izbran nad avtomobilom na daljinsko upravljanje, ker je kljub krhkemu lažjemu nadzoru in spreminjanju višine, da se izognemo oviram. Quadcopter lahko drži vse senzorje in jih stabilizira, tako da so med premikanjem po različnih prostorih natančnejši. Propelerji so izdelani iz ogljikovih vlaken, odpornih proti vročini. Tipala so usmerjena stran od sten, da se prepreči nesreča.

• Kopensko vozilo na daljinsko upravljanje

  • Prednosti - Lahko se hitro premika, ne da bi padel, nanjo pa temperatura ne vpliva
  • Slabosti - Vozilo bi senzorje postavilo nizko na tla in zajemalo manj prostora, hkrati pa jih lahko ovirajo ovire

• Štirikopter

  • Prednosti - senzorje dvigne v zrak, da si ogledate okolico 360 stopinj
  • Slabosti - če naleti na steno, lahko pade in si ne opomore

3. korak: Izbira opreme: Mikrokrmilniki

Dve glavni zahtevi za mikrokrmilnike sta majhnost za zmanjšanje uporabne obremenitve na štirikopterju in hitrost za hitro obdelavo vnosa informacij. Kombinacija Rock64 in DJI Naza je popolna kombinacija mikrokrmilnikov, saj ima Rock64 dovolj procesorske moči, da hitro zazna ljudi in prepreči, da bi štirikopter priletel v stene in ovire. DJI Naza ga odlično pohvali z izvajanjem vseh stabilizacijskih in motornih krmil, ki jih Rock64 ne zmore. Mikrokrmilniki komunicirajo prek serijskih vrat in po potrebi omogočajo uporabniški nadzor. Raspberry Pi bi bil dobra alternativa, a ker je imel Rock64 boljši procesor in boljšo povezljivost s senzorji, navedenimi v naslednji tabeli, Pi ni bil izbran. Intel Edison in Pixhawk nista bila izbrana zaradi pomanjkanja podpore in povezljivosti.

• Malina Pi

  • Prednosti - lahko zazna stene in nepremične predmete
  • Slabosti - bori se za spremljanje podatkov iz vseh senzorjev, zato ne vidi dovolj hitro vhodov. Ne more oddajati signalov motorja in nima stabilizacijskih senzorjev za štirikopter

• Rock64

  • Prednosti - Sposobnost zaznavanja sten in vhodov z majhno zakasnitvijo.
  • Slabosti - sistem lahko vodi tudi po celotni hiši, ne da bi pri tem naletel na karkoli s pomočjo vseh senzorjev. Ne more pošiljati signalov dovolj hitro za nadzor hitrosti motorja in nima stabilizacijskih senzorjev za štirikopter

• Intel Edison

  • Prednosti - Sposobnost zaznavanja sten in vhodov z nekaj zamika
  • Slabosti - Starejša tehnologija bi za številne senzorje potrebovala nove knjižnice, za ustvarjanje katerih je potrebno veliko časa
• DJI Naza
  • Prednosti - Vgrajen žiroskop, merilnik pospeška in magnetometer, ki omogoča, da je štirikopter v zraku stabilen z mikro prilagoditvami hitrosti motorja
  • Slabosti - Ne morem narediti nobene vrste obdelave vida

• Pixhawk

  • Prednosti - Kompakten in združljiv s senzorji, ki se uporabljajo v projektu z uporabo splošnega vhodnega izhoda (GPIO)
  • Slabosti - Ne morem narediti nobene vrste obdelave vida

4. korak: Izbira opreme: Senzorji

Kombinacija več senzorjev se uporablja za pridobivanje vseh informacij, potrebnih za iskanje ljudi na nevarnih območjih. Izbrana dva glavna senzorja vključujeta stereo infrardečo kamero skupaj z navigacijo in dosegom SOund (SONAR). Po nekaj testiranjih sem se odločil za uporabo kamere Realsense D435, ker je majhna in lahko natančno sledi razdaljam do 20 metrov. Deluje s hitrostjo 90 sličic na sekundo, kar omogoča številne meritve, preden se odločite, kje so predmeti in v katero smer naj pokaže štirikopter. Senzorji SONAR so nameščeni na vrhu in na dnu sistema, da lahko kvadrokopter ve, kako visoko ali nizko je dovoljeno iti, preden pride v stik s površino. Obstaja tudi en, obrnjen naprej, ki sistemu omogoča zaznavanje predmetov, kot je steklo, ki jih senzor stereo infrardeče kamere ne zazna. Ljudje in živali se odkrijejo z algoritmi za prepoznavanje gibanja in predmetov. Kamera FLIR bo uvedena za pomoč infrardeči stereo kameri, da spremlja, kaj živi in kaj ne, da bi povečala učinkovitost skeniranja v neugodnih razmerah.

• Kinect V1

  • Prednosti - Z lahkoto sledi 3D objektom, oddaljenim do 6 metrov
  • Slabosti -Ima samo 1 infrardeči senzor in je pretežak za štirikontropter

• Realsense D435

  • Prednosti - Ima 2 infrardeči kameri in rdečo, zeleno, modro, globinsko (RGB -D) kamero za visoko natančno zaznavanje 3D objektov do 25 metrov stran. Širina je 6 cm, kar omogoča enostavno namestitev v kvadrokopter
  • Slabosti - Lahko se segreje in morda potrebuje hladilni ventilator

• LIDAR

  • Prednosti - žarek, ki lahko v vidnem polju sledi lokacijam do 40 metrov stran
  • Slabosti - Toplota v okolju lahko vpliva na natančnost merjenja

• SONAR

  • Prednosti - žarek, ki lahko sledi 15 m stran, vendar lahko zazna prozorne predmete, kot sta steklo in akril
  • Proti - Samo točke v enem vidnem polju, vendar jih lahko s kvadrokopterjem premaknete na območje skeniranja

• Ultrazvočni

  • Prednosti - ima doseg do 3 m in je zelo poceni
  • Slabosti - samo točke v enem vidnem polju in lahko zelo enostavno izven dosega zaznavanja razdalje

• Kamera FLIR

  • Prednosti - Sposobnost globokega fotografiranja skozi dim brez motenj in zaznavanje živih ljudi s toplotnimi podpisi
  • Slabosti - Če senzorji kaj motijo, je izračun razdalje mogoče napačno izračunati

• PIR senzor

  • Prednosti - lahko zazna spremembo temperature
  • Proti - Ni mogoče natančno določiti, kje je temperaturna razlika

5. korak: Izbira opreme: programska oprema

Realsense SDK sem skupaj z robotskim operacijskim sistemom (ROS) uporabil za nemoteno integracijo med vsemi senzorji z mikrokrmilnikom. SDK je zagotavljal stalen tok podatkov v oblaku točk, ki je bil idealen za sledenje vsem objektom in mejam štirikopterja. ROS mi je pomagal poslati vse podatke senzorjev v program, ki sem ga ustvaril in izvaja umetno inteligenco. AI je sestavljen iz algoritmov za odkrivanje objektov in algoritmov za zaznavanje gibanja, ki omogočajo kvadrokopterju, da najde gibanje v svojem okolju. Krmilnik uporablja pulzno širinsko modulacijo (PWM) za nadzor položaja štirikopterja.

• Freenect

  • Prednosti - Ima nižjo raven dostopa za nadzor nad vsem
  • Slabosti - podpira samo Kinect V1

• Realsense SDK

  • Za - Lahko preprosto ustvarite podatke o oblaku točk iz toka informacij iz kamere Realsense
  • Slabosti - podpira samo fotoaparat Realsense D435

• Gonilnik za FLIR Linux

  • Prednosti - lahko prenesete podatkovni tok iz fotoaparata FLIR
  • Slabosti - Dokumentacija je zelo omejena

• Robotski operacijski sistem (ROS)

  • Prednosti - operacijski sistem, idealen za programiranje funkcij kamere
  • Slabosti - Za učinkovito zbiranje podatkov je treba namestiti na hitro kartico SD

6. korak: Razvoj sistema

"Oči" naprave so stereo infrardeči senzor Realsense D435, ki je v prodaji predvsem za robotske aplikacije, kot je 3D preslikava (slika 1). Ko je ta senzor nameščen na kvadrokopterju, lahko infrardeča kamera vodi in dovoli, da se quadcopter samodejno premika. Podatki, ki jih ustvari kamera, se imenujejo oblak točk, ki je sestavljen iz niza točk v prostoru, ki vsebujejo informacije o položaju določenega predmeta v viziji kamere. Ta oblak točk je mogoče pretvoriti v zemljevid globine, ki prikazuje barve kot različne globine (slika 2). Rdeča je bolj oddaljena, modra pa bližje metrom.

Za zagotovitev brezhibnega sistema je bil uporabljen odprtokodni operacijski sistem, imenovan ROS, ki se običajno uporablja pri robotih. Omogoča izvajanje nadzora naprave na nizki ravni ter dostop do vseh senzorjev in zbiranje podatkov, ki jih uporabljajo drugi programi. ROS bo komuniciral z Realsense SDK, ki omogoča vklop in izklop različnih kamer za spremljanje, kako oddaljeni so predmeti od sistema. Povezava med obema omogoča dostop do podatkovnega toka s kamere, ki ustvarja oblak točk. Podatki o oblaku točk lahko določijo, kje so meje in predmeti v 30 metrih in natančnost 2 cm. Drugi senzorji, kot so senzorji SONAR in vgrajeni senzorji v krmilniku DJI Naza, omogočajo natančnejšo postavitev štirikopterja. Moja programska oprema uporablja algoritme AI za dostop do oblaka točk in z lokalizacijo ustvari zemljevid celotnega prostora, ki obdaja napravo. Ko se sistem zažene in začne skenirati, bo potoval po hodnikih in našel vhode v druge prostore, kjer bo nato lahko poiskal sobo, ki posebej išče ljudi. Sistem ponavlja postopek, dokler niso pregledane vse sobe. Trenutno lahko kvadrokopter leti približno 10 minut, kar je dovolj za popolno čiščenje, vendar ga je mogoče izboljšati z različnimi razporeditvami baterij. Prvi odzivniki bodo prejeli obvestila, ko bodo opazili ljudi, da se bodo lahko osredotočili na izbrane stavbe.

7. korak: Razprava in zaključek

Po številnih preizkusih sem ustvaril delujoči prototip, ki je izpolnjeval zahteve, navedene v tabeli 1. Z uporabo stereo infrardeče kamere Realsense D435 z Realsense SDK je bil ustvarjen zemljevid globine sprednje strani štirikopterja z visoko ločljivostjo. Sprva sem imel nekaj težav z infrardečo kamero, ki ni mogla zaznati določenih predmetov, kot je steklo. Z dodajanjem senzorja SONAR sem lahko premagal to težavo. Kombinacija Rock64 in DJI Naza je bila uspešna, saj je sistem lahko stabiliziral štirikopter, hkrati pa je lahko zaznal predmete in stene s pomočjo prilagojenih algoritmov računalniškega vida z uporabo OpenCV. Čeprav je trenutni sistem funkcionalen in izpolnjuje zahteve, bi mu lahko koristili nekateri prihodnji prototipi.

Ta sistem bi lahko izboljšali z uporabo kakovostnejših kamer, da bi lahko natančneje zaznali ljudi. Nekatere dražje kamere FLIR imajo možnost zaznavanja toplotnih podpisov, kar omogoča natančnejše zaznavanje. Sistem bi lahko deloval tudi v različnih okoljih, na primer v prašnih prostorih in napolnjenih z dimom. Z novo tehnologijo in protipožarno zaščito bi lahko ta sistem poslali v goreče hiše in hitro zaznali, kje so ljudje, tako da lahko prvi odzovejo reševalce iz nevarnosti.

Hvala za branje! Ne pozabite glasovati zame na natečaju Optika!