IoT: Nadzor HoloLens s pomočjo obrvi (EMG): 5 korakov

2025 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2025-01-23 15:08

Ta projekt je bil del projekta NASA SUITS Univerze v Coloradu Boulder, ki je bil predstavljen in preizkušen v NASA JSC aprila 2019. Za projekt tega leta sem bil vodja projekta pri razvoju strojne opreme in to je bil eden izmed mojih prispevkov. Več o izzivu NASA SUITS preberite tukaj.

S tem projektom sem želel vsakomur (v tem primeru astronavtom EVA) omogočiti vmesnik z Heads-Up-Display (HUD), nameščenim v Microsoftovem HoloLens-u, ne da bi uporabil vgrajene ročne kretnje ali glasovne vnose. Tega cilja sem se lotil z vidika dostopnosti, želel sem razviti periferno/nosljivo napravo, ki bi astronavtom EVA omogočila vmesnik z njihovim zaslonom, ne da bi zasedla komunikacijo s talnim nadzorom, zaradi česar je povezovanje gest z velikim pritiskom pod pritiskom nerazumno. Čeprav je to področje, ki ga nekoliko ne poznam, lahko vidim tudi, da je ta zunanja naprava uporabna za invalide, ki jim omogočajo uporabo HoloLens ali drugih naprav AR/VR in se odpovejo vmesnim vhodom, ki so izključujoči ali zastrašujoči.

Medtem ko je seznam postavk za ta projekt izključujoč (HoloLens je zelo drag!), Lahko periferno napravo uporabljate z drugimi napravami AR/VR.

Če imate kakršna koli vprašanja, želite biti v koraku z mojim delom ali pa samo razmetavati ideje, to storite na mojem Twitterju: @4Eyes6Senses.

Zaloge

Microsoft HoloLens (ali druga naprava AR/VR)

Foton delcev

Mišični senzor MyoWare - Senzor MyoWare lahko zamenjate z drugimi odmičnimi ploščami EMG. Če niste prepričani, kakšen je EMG, predlagam, da preberete več o tem tukaj

Biomedicinske senzorske blazinice

Unity (brezplačno)

Nekaj izkušenj z ustvarjanjem projektov v enotnosti

Žica

1. korak: Povezovanje MyoWare s fotonom delcev

Priključitev fotona delcev na ploščo MyoWare je dokaj enostavna. Za ta korak boste morali spajkati povezave med fotonom delcev in ploščo MyoWare. Prepričajte se, da imate močne povezave, da se kabli ne zlomijo med nošenjem naprave. Da bi se izognili zlomom, priporočam, da kable oprijete, preden jih spajkate v Photon.

- Spajajte žico v vrata "+" na plošči MyoWare, nato pa drugi konec kabla spajajte v Photonov "3v3" zatič.

- Spajajte žico v vrata "-" na plošči MyoWare, nato pa drugi konec kabla spajajte v Photonov "GND" zatič.

- Spajajte žico v vrata "SIG" na plošči MyoWare, nato pa drugi konec kabla spajajte v Photon -ov "A0" pin.

2. korak: Nalaganje kode na foton delcev

Z IDE -jem Particle Photon naložite datoteko.ino. Desko MyoWare postavite na mišično skupino in preverite vrednosti, da se prepričate, da naprava deluje. Ko pogledate kodo, boste opazili, da je spremenljivka "prag" že nastavljena, je ta najmanjša vrednost, ki jo MyoWare prebere iz moje mišice, ko popolnoma dvignem obrv. Spremenljivko sem nastavil tudi na "600", ker mi je omogočal normalne pogovore med nošenjem MyoWare, ne da bi ustvaril lažne pozitivne učinke (nenamerno sprožanje). Morda se boste želeli poigravati z vrednostmi, dokler ne najdete želenega praga za vaše uporabe.

3. korak: Namestitev MyoWare

Za naš projekt NASA SUITS sem se odločil, da MyoWare Board postavim nad obrv. Navdihnil sem, da sem MyoWare postavil tja, ko sem si ogledal projekt "Sup Brows", ki ga je izvedel Adafruit. Po nekaj testiranjih je postalo jasno, da so obrvi odlična lokacija za ta poseben projekt. To je odlična lokacija, ker na senzorje ne bi vplivali stalni gibi mišic skozi roke, noge in trup, ki jih astronavti EVA izvajajo med vesoljskimi sprehodi.

4. korak: Povezovanje MyoWare z Unity

Zdaj je čas za zadnji korak, povezimo MyoWare z Unity! V ta Instructable je vključen skript, ki ga boste morali vključiti v svoj projekt Unity. Najprej pa morate v kodi spremeniti nekaj stvari. Najprej morate v svoj projekt dodati vtičnik JSON Object Unity. Nato morate v vrstico 19 dodati svoj ID naprave in žeton za dostop: particleURI = "https://api.particle.io/v1/devices/[Vstavite ID svoje naprave]/Naprej? Access_token = [Vstavite svoj dostopni žeton]". ID naprave lahko dobite iz IDE -ja delcev, po sliki 2 kliknite na zavihek vaše naprave (rdeče polje) in pod imenom naprave poiščite svoj ID (modro polje). Če želite poiskati žeton za dostop, kliknite zavihek z nastavitvami v IDE.

5. korak: Končano

Po končanem projektu Unity boste imeli HoloLens, ki ga nadzoruje EMG!

Če imate kakršna koli poglobljena vprašanja, se želite naučiti o povečanju števila ljudi, želite biti v koraku z mojim delom ali se samo premetavati po idejah, to storite na mojem Twitterju:

Če vas zanima sodelovanje z našo ekipo za izziv NASA SUITS 2019 - 2020, mi pišite na:

Posebna zahvala modelu na prvi sliki, Darrenu, ki je zasnovo preizkusil tudi pri Nasi. Še ena zahvala mojemu programskemu partnerju za projekt AJ, ki je to veliko omogočil.