Google Glass/pomoč za revne osebe za ljudi s predorskim vidom: 5 korakov (s slikami)

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:04

Povzetek:

Ta projekt pretaka videoposnetke v živo iz fotoaparata z ribje oko na nosljiv head-up zaslon. Rezultat je širše vidno polje na manjšem območju (zaslon je primerljiv s 4 "zaslonom 12" stran od vašega očesa in oddaja pri 720p). Primarni namen je zagotoviti več prostorske ozaveščenosti tistih z retinitisom pigmentoso (skrajšano RP), degenerativno očesno boleznijo, ki ima za posledico tunelski vid (primerljivo je s tem, da ves čas gledate skozi rolo toaletnega papirja). Glede na to, da projekt temelji na RPi, obstaja ogromno možnih aplikacij (nekatere bodo obravnavane na koncu).

Seznam materialov:

• (1) Raspberry Pi Zero (5 USD) (Raspberry Pi Zero W deluje tudi)

• (1) Kartica Micro SD za Raspberry Pi (8 USD) (samo navadna kartica Micro SD, nič posebnega. Priporočeno najmanj 8 GB prostora za shranjevanje)

  • Zunanji elementi RPi: (teh ne potrebujete, če jih že imate ali če imate drug model RPi)

    • (1) USB adapter (5 USD)
    • (1) Kabel Mini HDMI do HDMI (6 USD) (z dovolj dobrim vidom se lahko Vufine uporablja kot monitor, zato odpravlja potrebo po tem kablu)
• (1) Vufine nosivi zaslon (200 USD)

• (1) Mikro do mini trakovni kabel HDMI (10 USD) (ukinjen, glejte spodnje črke)

  • HDMI adapterji

    (Tip C in D; upajmo, da bosta ta vikend navedla model (danes je 3. 3. 2018)) (Adafruit prodaja tudi te priključke, vendar so dražji)

  • Tračni kabel HDMI
• (2) Mikro kabel USB (1-5 USD vsak) (samo 2 običajna kabla mikro USB, nič posebnega)
• (1) Kamera z ribje oko za Raspberry Pi (25 USD)
• (1) Kabel za kamero Raspberry Pi (8 USD)
• (1) Paket majhnih kravatov (3 USD)

Skupni stroški: ~ 265 USD (odvisno od tega, kaj že imate in koliko plačate za pošiljanje)

Seznam orodij:

• Rezalniki žice
• Odstranjevalci žice (za žice velikosti približno 26 awg)
• Pištola za vroče lepilo (in lepilna palica za omenjeno pištolo za vroče lepilo)
• Tipkovnica
• Zaslon (mora imeti možnost HDMI, vendar spet z dovolj dobrim vidom lahko Vufine uporabimo kot monitor)
• Spajkalnik (in spajkanje)
• X-Acto nož

Osebna opomba:

Ta projekt je navdihnila moja babica. Že davno so ji diagnosticirali RP in njen vid se je z leti slabšal. Pred kratkim se je zaradi starosti odločila, da se odreče svojemu psu, ki je videl, Venturi (vzdevek Seymour, namenjen igri besed). Čeprav je to v nekaterih pogledih olajšalo življenje, sem prepričan, da so druge stvari postale bolj nepomembne (na primer hoja po nakupovalnem središču). Že nekaj časa sem si prizadeval narediti takšno napravo, vendar ni bilo na voljo zaslonov (po ugodnih cenah). To se je spremenilo, ko sem našel Vufine. To je odlično podjetje z odličnim izdelkom in ne, nisem plačan, da to rečem; to je res dobro podjetje. Kar se tiče moje babice, je poročala, da je ta naprava skoraj podvojila njeno vidno polje (glede na premer, ne na površino).

Nadgradnja:

To sem naredil z modulom Vufine, konfiguriranim za levo oko (moja babica je popolnoma slepa na desno oko), zato se lahko pojavijo težave pri tistih, ki to gradijo za desno oko (nič velikega, le sprememba orientacije za nekaj) deli). Ob tem je bilo Vufine prijazno, da mi je poslal modul za desno oko, da lahko nadaljujem s tem projektom in odpravim te težave. Takoj, ko to storim, bom to navodilo še posodobil.

1. korak: Nastavitev Raspberry Pi

Nastavitev strojne opreme Pi:

Opomba: Če imate Raspberry Pi, ki ni RPi Zero (W ali navaden), lahko s tem Pi naredite potrebne programske popravke in kartico SD prenesete na Pi Zero.

Druga opomba: Nisem pravzaprav kupil nekaj strojne opreme, ki se povezuje s Pi; Namesto tega imam primeren klobuk. Kot rečeno, zgornja slika naj bi izgledala vaša nastavitev. Ni moje in je bilo vzeto od tukaj.

Najprej bomo priklopili tipkovnico. Ker ima vaša tipkovnica priključek USB tipa A (vseprisotni pravokotni), Pi Zero pa ne, bomo morali uporabiti adapter USB. Priključite adapter USB v vrata USB, ki so najbližje sredini plošče. Nato priključite tipkovnico v adapter USB. Druga vrata USB bodo uporabljena za napajanje. Zgornja dva kabla na sliki sta kabla USB, zgornji kabel pa zagotavlja napajanje.

Drugič, kabel HDMI priključite v vrata mini HDMI na Pi in vrata HDMI na zaslonu (če ste za zaslon uporabili zaslon Vufine, uporabite trak HDMI).

Nastavitev programske opreme Pi:

Ta postopek je povsod dokumentiran, vendar je tukaj uradni vodnik. Pomembno je omeniti več stvari: uporabljali boste kartico micro SD, ki sem jo kupil (tista, ki sem jo izbral, ima adapter, tako da jo lahko utripate z običajnim računalnikom), namestili boste Raspbian, kamero pa morate omogočiti v konfiguracijskem meniju Raspberry Pi. Poleg tega NE izvajajte vadnice pri izvajanju "startx". Če ste to storili, nič hudega, vendar boste zdaj potrebovali miško. Pojdite v ukazno vrstico (v vaši opravilni vrstici bi moralo izgledati kot črno okno) in jo uporabite (v tem oknu bi se moral pojaviti "pi@raspberry ~ $"). Zdaj bomo izklopili Raspberry Pi tako, da izvedemo:

sudo shutdown -h zdaj

2. korak: Namestitev kamere

Fizične povezave:

Najprej naj razložim, kako delujejo povezave s tračnim kablom. Če želite priključiti in odklopiti tračne kable, morate najprej dvigniti jezičke na strani (za Pi Zero je to smer navzven), kar bo omogočilo, da se konektor do neke mere zloži in izvleče, kar omogoča, da trak prihaja noter in ven. Za pritrditev trakovnega kabla (in s tem dokončanje postopka povezovanja) morate zložljivi del priključka pritisniti na kabel in znova vstaviti jezičke. Zdaj je treba kabel pritrditi v priključek. Če si želite ogledati uradni videoposnetek o tem, kako to storiti, kliknite tukaj.

Pomembno je omeniti, da beli kabel, ki je priložen fotoaparatu, ne bo primeren za Pi Zero; zamenjajte z enim od zlatih tračnih kablov. Poleg tega se prepričajte, da je izpostavljena stran kabla obrnjena navzdol, v Pi in plošče kamere.

Programska oprema:

Programska oprema fotoaparata je razmeroma enostavna. Če želite predvajati video neposredno iz kamere na HDMI, preprosto izvedite naslednjo vrstico v terminalu:

raspivid -t 0 -rot 0

Kamera bi morala zdaj pretakati na vaš zaslon. Zdaj ustavite tok s pritiskom na ctrl+c. Zdaj bomo izvajali isti ukaz, če pa ste kupili standardni modul Vufine (konfiguriran za desno oko), spremenite 0 po "-rot" na 90. Podobno, če ste kupili zaslon Vufine, konfiguriran za levo oko, spremenite 0 za "-rot" na 270.

Če kamero držite ob zaslonu Vufine na podoben način, kot je prikazan na fotografiji, bi morali videti pokončno sliko (na zaslonu, ne nujno v Vufineju). Če je vaša slika obrnjena navzdol, poskusite z drugo številko (270, če ste to storili 90 prej in 90, če ste to storili prej 270; za izhod iz toka morate še vedno pritisniti ctrl+c).

Ko imate tok fotoaparata pravilno usmerjen (prek programske opreme), se bomo prepričali, da se zažene vsakič, ko je vklopljen Raspberry Pi. Prvi korak je izvedba:

sudo nano /etc/rc.local

Zdaj vnesite ukaz, podoben tistemu, ki ste ga izvedli prej ("/usr/bin/raspivid -t 0 -rot 90/270") v vrsticah med "fi" in "exit 0" (naj bo v eni vrstici, kot je prikazano na sliki). Če želite sliko nižje ločljivosti z višjo hitrostjo sličic, namesto tega uporabite "/usr/bin/raspivid -t 0 -rot 90/270 -md 6". Ko to vnesete, ga shranite tako, da pritisnete ctrl+x, vnesete y (da, želite ga shraniti) in nato pritisnete enter, da ga shranite pod istim imenom. Zdaj bi se morali vrniti v ukazno vrstico ("pi@raspberry ~ $"). Končno lahko preizkusite, ali vse deluje, tako da znova zaženete Raspberry Pi z:

sudo ponovni zagon

Če vse deluje, bi morali na koncu zagona videti kamero, ki pretaka video na izhod HDMI.

Opombe:

• Ko je vse zgoraj našteto, boste morda želeli nanesti majhno količino vročega lepila na tračni kabel/priključek na fotoaparatu in Pi, da se prepričate, da ostane na svojem mestu. To je izključno neobvezno in tega v resnici nisem storil.
• Če imate zaslon Vufine konfiguriran za desno oko in se odločite, da ga usmerite drugače (bolj priročno je, če so vrata USB Pi na spodnji strani), bo zgornja stran fotoaparata na levi, ko ga nosite.
• Kamera na sliki je že nameščena. Do tega bomo prišli v naslednjem koraku.
• Želel sem objaviti sliko priključka za kamero na Pi, vendar ne želim odstraniti Pi, če ga ne morem ponovno namestiti in sem izgubil vse vezi, ki so zapete (kar boste videli, da so potrebne) za kasnejšo namestitev) in nisem prepričan, kdaj bom naslednjič lahko kupil še nekaj, zato sem se odločil, da naložim zdaj in posodobim kasneje.

3. korak: Polnjenje zaslona Vufine

Zaslon Vufine ima lastno baterijo, ki pa traja le 90 minut, in čeprav je to morda dovolj za predvideno uporabo Vufine, je za naše namene premalo. Kot rečeno, lahko Vufine med uporabo polnimo in tako podaljšamo življenjsko dobo baterije. Vendar pa so običajni kabli USB precej veliki in ker želimo zmanjšati težo, bomo morali enega spremeniti (s tem da bo pri tem manjši in lažji); odstranili bomo kabel USB na najmanjšo možno mero.

Opomba: Preostanek tega koraka podrobno opisuje, kako priključek priključiti iz kabla USB. Ob tem sem bil seznanjen s temi poceni (po ceni) priključki USB. Z njihovo uporabo bi lahko preskočili nevarni del odstranitve priključka z žice. Nimam izkušenj z njimi, vendar bom to navodilo posodobil, kako jih bom uporabil.

Priprava kabla USB

Opomba: To je daleč najnevarnejši del gradnje. Pri ostrih nožih morate biti zelo previdni

Prvi korak pri "minimiziranju" kabla USB je, da ga odrežete približno 5 palcev (rekel bi približno 7 za konfiguracijo desnega očesa) navzgor od konca mikro USB. Nadaljujte tako, da odstranite žico vse do mikro konca USB.

Za nevarni del boste morali z nožem X-Acto odrezati plastično ovojnico. Predlagam, da med prirezovanjem držite vtikač s kompletom klešč ali miznim primežem, da zmanjšate tveganje, da bi se sami porezali. Najboljši način, da ga odrežete, je, da prerežete vzdolž šivov na strani (izgledajo kot črte), kot je prikazano na sliki. Za vkop noža v ohišje bi morali uporabiti spodobno silo. Čez nekaj časa se bo morda ena stran lahko "zasukala" navzven, in odvisno od tega, kako svobodna je, se lahko odločite, da s kleščami odrežete preostanek, namesto da ga odrežete.

Dokončanje dela USB

Ko vam ostane le kovinski kos, odstranite dve srednji žici (ne rdečo in črno). To lahko storite tako, da jih odrežete ali uporabite spajkalnik, da odlepite njihove povezave in jih preprosto odstranite (predlagam, da razpojite, če imate dovolj izkušenj). Nato položite vroče lepilo na dno žic (kjer se stikajo z vtičem Micro USB), da zagotovite izolator in ga zaščitite. Ko končate, bi morala biti slika videti kot USB na sliki (čeprav je še nismo povezali s Pi).

Priključitev na Pi

Ta korak je precej preprost. Vse, kar morate storiti, je, da rdečo žico spajkate na priključek 5v, črno žico pa na ozemljitveni zatič (GND) na RPi. Če želite natančno videti, katera vrata, si oglejte sliko z rdečim pravokotnikom na Pi. Če si želite ogledati video o osnovnem spajkanju, kliknite tukaj. Predlagam, da uporabite nekaj vročega lepila na obeh straneh Pi (kjer ste spajkali), da pritrdite žice in zagotovite izolator.

4. korak: Povežite vse

Zaščita Pi

Na tej točki postavite Pi ob modul Vufine tako, da bodo vrata za kamero blizu sprednje strani in priključki USB (nameščeni na Pi) obrnjeni navzdol in navznoter. Zavarujte ga z dvema paroma (po en par za vsako stran) z zadrgami. To naredite tako, da skozi eno od zgornjih kotnih lukenj na piti vlečete zadrgo, jo ovijete okoli Vufine (navzdol) in jo postavite skozi spodnjo vogalno luknjo na isti strani Pi. Nato vzemite še zadrgo in jo zaklenite na prvo. Zategnite ga tako, da se Pi potegne blizu Vufine. Za obe zadrgi odrežite preostalo telo zadrge (vse za drugo in del, ki štrli iz druge zadrge za prvo). Ta korak ponovite na drugi strani Pi.

Priključite stvari

To je morda najpreprostejši korak celotne gradnje. Priključite kabel USB, ki ste ga spajkali na Pi v zaslon Vufine.

Vroče lepljenje priključka

Magnet v magnetni priklopni postaji za naše namene ni dovolj močan, zato bomo za krepitev povezave dodali nekaj vročega lepila. Modul Vufine pritrdite na magnetno priklopno postajo (ne plus) s pasom navzgor (kot je prikazano na sliki). Prepričajte se, da je skoraj vzporeden z dejanskim Vufineom (položaj zaslona pa boste še vedno lahko prilagodili s premikanjem pasu na očalih). Zgoraj in spodaj nanesite spodobno količino vročega lepila. Preden nadaljujete, pustite, da se ohladi, da se prepričate, da se ne strdi v čuden položaj, preden se strdi.

Priključitev stvari, nadaljevanje

Čeprav ta del ni tako enostaven kot prvi del Plucking Stuff, se ne bi smeli preveč truditi. Preprosto priključite tračni kabel HDMI v Vufine in Pi (boj je bolj psihološki kot fizičen; to lahko storite. Verjamem vate).

Priključitev fotoaparata

Konfiguracija levega očesa:

To je enostaven del, vendar je položaj kamere težko opisati z besedami. V bistvu boste kamero pritrdili tako, da bo stransko, pod njo pa bo zavit trak. Oglejte si sliko, da vidite, kaj mislim. Pritisnite ga na zaslon Vufine in ga pritrdite v tem položaju z nanašanjem vročega lepila na zgornji in spodnji del. Na straneh ne bi dal ničesar, saj to samo na zgornji in spodnji strani zadostuje za njegovo pritrditev, ob strani pa lahko prepreči kakršno koli bočno prilagajanje tako traku kot zaslona Vufine.

Konfiguracija desnega očesa:

Še nisem naredil prave konfiguracije očesa (vrnil se bom in uredil, ko to storim), v bistvu pa se morate prepričati, da je kamera bočno in v razumnem položaju na vrhu zaslona. Zgornji del (stran nasproti priključka) mora biti obrnjen proti levi (levi, ko ga nosite). Z vročim lepilom pritrdite kamero na zaslon na modulu Vufine. Poleg tega lahko z vročim lepilom (ali zadrgami) preverite, ali je odvečni trak pritrjen (dajte mu malo prostora za prilagodljivost in se ne trudite, da trak ne zdrži, ker ne vzdrži visokih stopenj vrtenja). Lahko se vrnete tudi na 2. korak: Namestitev fotoaparata, če morate znova prilagoditi tok kamere zaradi spremembe njegovega fizičnega položaja.

5. korak: Fin

Vklop

Če ga želite vklopiti, preprosto vklopite modul Vufine s pritiskom na sivi gumb na zadnji strani. Začeti mora utripati modro. Nato priključite Pi Zero s skrajnimi desnimi vrati USB (na zunanji strani in z oznako PWR IN). Zdaj bi morali poleg utripajoče modre LED na modulu Vufine videti še rdeča lučka. To pomeni, da se Vufine zaračunavajo. Poleg tega bi se moral zaslon zagnati in videti bi morali, da Pi nadaljuje postopek zagona s pretokom kamere na koncu. Ko se prikaže zaslon, mora utripati modra lučka na gumbu Vufine neprekinjeno.

Opomba: Če najprej vklopite Pi (ki mu sledi Vufine), bo zaslon morda čudno. Če želite to odpraviti, izklopite Pi in ga nato znova vklopite.

Izklop

Izklopite RPi tako, da odklopite USB, ki ga napaja. Če želite izklopiti Vufine, ga lahko pustite, da se sam izklopi (kar bo storil, potem ko kratek čas ne prejme signala), ali pa držite sivi gumb (z modro LED) na Vufine, dokler modra LED ugasne. Raje pustim, da se sam izklopi, ampak vi.

Nadaljnje izboljšave

Kot je povzeto rečeno, ker projekt temelji na Raspberry Pi, ima projekt ogromno sposobnosti razvoja. Za začetek imam nekaj idej, ki sem jih imel:

• Lahko ga priključite na brezžično tipkovnico za priročno uporabo kot računalnik s sistemom Linux. Uporabil bi takšno tipkovnico (in miško) in jo povezal v podobnem postopku.

  Dodajanje takšnega vmesnika, ki temelji na gibanju rok, bi bilo tudi kul

• Ob strani dodajte gumbe za shranjevanje slik in videoposnetkov ter za povečavo in pomanjšanje
• Dodajte izvorno stikalo za vklop (pravim domače, ker imajo nekateri kabli USB vgrajena stikala)
• Naredite 3D natisnjeno ohišje za vse.
• Dodajte zvočni izhod

• Dodajte nastavek za baterijo

  Če bi jih postavili na drugo stran očal, bi bil primeren način za dodajanje protiuteži (teža na očalih je trenutno nekoliko naklonjena)

• Naredite CNN (konvolucijsko nevronsko omrežje) z izhodom TTS (besedilo v govor) za zvočni opis svojega okolja. To nevronsko omrežje bi lahko delovalo na Movidius Neural Compute Stick za večjo računsko moč.

  Možna uporaba galvanske vestibularne stimulacije za manevre v sili

Nekatere od teh idej si lahko ogledate na moji strani github.

Opomba:

Verjetno bom kasneje dodal še nekaj slik. Če želite še kakšno sliko, mi to sporočite in potrudila se bom. Enako velja za pojasnila; če želite, da se podrobneje pogovorim, mi to sporočite in poskušal bom to narediti.

Hvala vam

• Od te skupnosti sem se veliko naučil; upam, da bo to pomagalo drugim, saj so mi mnogi tukaj pomagali že prej.
• Še enkrat, to je moj prvi pouk in vsaka povratna informacija bi bila zelo cenjena. Če kdo s tem kaj naredi, naj mi sporoči; Rad bi videl, kje skupnost to sprejme.

Posebna zahvala moji babici za vse, kar je naredila zame v življenju. Nikoli vam ne bom mogel vrniti denarja, vendar se bom potrudil po svojih najboljših močeh.

Prva nagrada na tekmovanju Raspberry Pi 2017