Biofeedback Cinema: 7 korakov

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:07

Avtor projekta

Jessica Ann

Sodelavci

• Gregory Hough
• Salud Lopez
• Pedro Peira

Približno

Eksperimentalni sistem za zajem videa, ki povezuje možgane udeležencev s funkcijami kamere prek slušalk za branje EEG Neurosky Mindwave. Biofeedback Cinema sistem deluje namesto tradicionalnega kinematografa, namesto da bi skladbo prepustil sami udeleženki prek vmesnika BRAIN to CAMERA po meri. Projekt je bil razvit v sodelovanju z udeleženci delavnic Gregoryjem Houghom, Saludom Lopezom in Pedrom Peiro. O rezultatih delavnice si lahko preberete na:

Konfiguracija prototipa

Biofeedback Cinema sistem je primeren za številne potencialne aplikacije. Za to navodilo smo pripravili predstavitev sistema, ki obravnava udeležencevo stopnjo osredotočenosti/pozornosti (eno celo število) in to prevede v položaj kamere (prek pomikanja in nagiba) in fokus kamere (interno prek OpenCV). Vse to omogoča povezava Bluetooth med Neurosky EEG Reader Headset in Raspberry Pi.

Raspberry Pi je majhen računalnik, opremljen s spletno kamero in skripti (na voljo spodaj), ki povezujejo možgansko aktivnost udeleženca z nastavitvami kamere in položajem kamere. Dinamičen položaj kamere je omogočen z mikrokrmilnikom Arduino, ki sprejema signale iz Raspberry Pi. Veselimo se nadaljnjega razvoja, saj želimo vključiti dodatne parametre možganskega vala (frekvence, povezane z utripanjem oči itd.) In funkcije kamere (tj. Odtenek, nasičenost, svetlost itd.).

Spodaj so navodila za izdelavo lastnega sistema Biofeedback Cinema.

Veselo eksperimentiranje

1. korak: Zaloge

Spodaj je navedeno vse, kar potrebujete za izdelavo lastnega prototipa Biofeedback Cinema.

1. Mobilne EEG slušalke Neurosky Mindwave

2. Raspberry Pi B+ (b+ je boljši, več vrat USB, vendar je model B tudi v redu, če imate zvezdišče USB).

   1. Napajalnik ali akumulator Raspberry Pi
   2. Dongle Wi -Fi ali ethernetna povezava (potrebna le med nastavitvijo)
   3. Bluetooth Dongle see wiki za združljive ključe
   4. Kartica SD (najmanj 8 GB) z NOOBS.

3. Arduino Vsaka plošča je v redu, z uporabo Uno v tem navodilu. Upoštevajte tudi, da lahko uporabite samo V/I na Pi.

   1. Napajalnik ali akumulator Arduino
   2. A-B USB kabel
4. Spletna kamera USB
5. Mini komplet z nagibom

6. Monitor z vhodom HDMI ali uporabite VNC za daljinsko upravljanje pi iz računalnika [vadnica tukaj]

   HDMI kabel

7. USB tipkovnica in miška priporočata tipkovnico in miško bluetooth, da zmanjšate število uporabljenih vrat USB.

2. korak: Namestite Raspberry Pi

1. Nastavitev strojne opreme

Tipkovnico, miško, dongle bluetooth, dongle wifi (ali ethernet), spletno kamero, monitor prek kabla HDMI in napajanje povežite z Raspberry Pi

2. Namestite operacijski sistem

• Vklopite vklop in vaš Pi se mora zagnati. Namestite Rasbpian OS, navodila tukaj:
• Če je zagon in Raspian pravilno nameščen, bi morali videti domače namizje [Slika zgoraj].

NAMIGI:

• Če je razmerje stranic na namizju izklopljeno, poskusite znova zagnati Raspberry Pi. Če je še vedno izklopljeno, poglejte tukaj, da ročno posodobite razmerje stranic.
• Če odprete urejevalnik besedil in so posebni znaki tipkovnice napačno prikazani, poglejte tukaj, da posodobite konfiguracijo tipkovnice.
• Preizkusite internetno povezavo (to boste potrebovali za namestitev knjižnic med nastavitvijo). Tukaj poiščite pomoč pri nastavitvi WiFi.

3. korak: Priključite slušalke Neurosky

1. Konfiguracija Bluetooth

Preden se Pi lahko poveže z Neurosky, moramo nastaviti bluetooth:

Na namizju odprite "LXTerminal" (od zdaj naprej imenovan tudi terminal). Če želite odpraviti in posodobiti pomanjkljivosti, zaženite ta ukaz:

$ sudo apt-get posodobitev

Namestite bluetooth s tem ukazom:

$ sudo apt-get namestite bluetooth

Namestite priročen pripomoček Bluetooth za namizno orodno vrstico:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Znova zaženite Pi s terminala:

$ sudo ponovni zagon

2. Preizkusite povezavo Bluetooth

• Vklopite slušalke Neurosky
• Iz skeniranja terminalov za naprave:

hcitool skeniranje

Slušalke Mindwave morajo biti navedene, upoštevajte naslov MAC slušalk [slika zgoraj]

3. Namestite knjižnice Neurosky

Zdaj smo pripravljeni namestiti knjižnice Neurosky Python in začeti zbirati njegov podatkovni tok s preskusnim skriptom knjižnice:

S terminala namestite pripomoček github:

sudo apt-get install git-core

Kloniraj skladišče github s knjižnico Neurosky Python:

klon sudo git

Datoteko MindwaveMobileRawReader.py moramo posodobiti z naslovom MAC vaše slušalke. Opomba: Imena datotek razlikujejo med velikimi in malimi črkami

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Posodobite naslov MAC, naveden v datoteki. Ctrl-X za dokončanje, Y za shranjevanje, Enter za izhod.
• Seznanite Neurosky in Pi in dovolite funkcijo samodejne povezave, če boste pozvani k vnosu PIN -a, uporabite "0000":

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device zaupanja vredna XX: XX: XX: XX: XX: XX da

Namestite knjižnico Python Bluetooth:

sudo apt-get install python-bluez

Zaženite preskusni skript knjižnice, da zagotovite, da lahko Pi predogleda tok podatkov. Videti bi morali pretok podatkov [zgornja slika]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

4. korak: Povežite spletno spletno kamero USB z Odpri življenjepis

1. Namestite OpenCV

Od terminala:

$ sudo apt-get install libopencv-dev python-opencv

Ko končate, nadaljujte:

$ sudo apt -get -f install

Za dobro merilo:

$ sudo apt-get install libopencv-dev python-opencv

Preizkusite namestitev s poskusom uvoza knjižnice:

$ python

> uvoz cv2

2. Preizkusite OpenCV v Pythonu s spletno kamero USB

• Na namizju odprite "IDLE" (ne odpirajte IDLE3!)
• V meniju Datoteka izberite Novo okno. Kopirajte naš skript Cv-Blur-Test v novo okno in shranite. Scenarij je na voljo tukaj:
• V meniju Run izberite Run Module (ali pritisnite F5). Morda bo trajalo nekaj sekund, da začnete, vendar bi morali videti, da se na vašem spletnem viru v živo prikaže majhen okvir, video pa mora biti zamegljen. Čestitamo, OpenCV je bil nameščen in uspešno deluje z vašo spletno kamero [Slika zgoraj].

5. korak: Povežite Arduino

1. Prenesite Arduino IDE

Od terminala:

sudo apt-get install arduino

2. Povežite Arduino & Load Sketch

• Priključite arduino v Pi s kablom USB A-B.
• V meniju Start na namizju pojdite na Electronics in odprite Arduino IDE. Kopirajte našo skico arduino-serial-pi v IDE [spodnja povezava]. To je zelo osnovna skica, ki bo premikala servo motorje glede na vhod, ki prihaja prek serijske enote. Podatke bomo pošiljali po zaporedju na podlagi izhoda možganskega vala, pri čemer bomo v zadnjem koraku, ko vse sestavimo, uporabili skico Python.

Arduino-serial-pi skica na spletu tukaj:

V Arduino IDE pojdite v meni Orodja, izberite Serijska vrata in izberite navedena vrata Arduino, verjetno nekaj takega kot /dev /ttyACM0. Zapišite si pristanišče

3. Onemogočite serijsko konzolo

Prenesite in zaženite skript za onemogočanje serijske konzole, da bo serijska povezava USB delovala brez težav:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo ponovni zagon

Vednost:

Če uporabljate B+, bo morda dovolj V/I za podporo servomotorjev (poglejte tukaj za nastavitev in uporabo GPIO). Vendar me zanima dodajanje dodatnih komponent za prihodnje eksperimentiranje možganov do elektronike. Tako nastavitev začetnega prototipa z arduinom zagotavlja veliko prelomnih elektronskih možnosti.

Korak 6: Združite vse skupaj

1. Končni Python skript

Preden lahko v mapo "python-mindwave-mobile" dodamo končni skript python, moramo spremeniti dovoljenja za mapo. Od terminala:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Odprite IDLE in zaženite naš zadnji Python skript, ki je na voljo na spletu tukaj: https://github.com/PrivateHQ/biofeedback-cinema/ Prepričajte se, da se nahaja v mapi python-mindwave-mobile. Opomba: Naš skript Python boste morali posodobiti z vašim dejanskim naslovom vrat Arduino.
• Ko zaženete ta skript, bi se morale zgoditi tri stvari: 1) Vaša raven pozornosti bo navedena v lupini Python, 2) Pojavi se majhen okvir, ki prikazuje vir spletne kamere v živo s spreminjanjem zamegljenosti glede na raven pozornosti, 3) motor (s) premaknite se, ko se raven pozornosti prenaša na arduino prek serijskega [video zgoraj].

7. korak: Izboljšave in razvoj

Raspberry Pi ima omejeno procesno moč in se bori za nemoteno delovanje funkcij OpenCV. To je nekaj, kar bom še naprej razvijala in izboljševala. Poleg tega nameravam v prihodnje ponovitve vključiti dodatne parametre možganskih valov (frekvence, povezane z utripanjem oči itd.) In funkcije kamere (tj. Odtenek, nasičenost, svetlost itd.).