Biofeedback Cinema: 7 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:57

Projekta autors

Džesika Ann

Līdzstrādnieki

• Gregorijs Hou
• Saluds Lopess
• Pedro Peira

Par

Eksperimentāla video uztveršanas sistēma, kas savieno dalībnieka smadzenes ar kameras funkcijām, izmantojot Neurosky Mindwave EEG lasītāju austiņas. Biofeedback Cinema sistēma darbojas tradicionālā kinooperatora vietā, tā vietā kompozīcijas aģentūra tiek nodota pašai dalībniecei, izmantojot pielāgotu BRAIN to CAMERA saskarni. Projekts tika izstrādāts sadarbībā ar semināra apmeklētājiem Gregoriju Hou, Saludu Lopesu un Pedro Peiru. Jūs varat izlasīt semināra rezultātus:

Prototipa konfigurācija

Biofeedback Cinema sistēma ir piemērota daudziem iespējamiem lietojumiem. Šai pamācībai mēs esam sagatavojuši sistēmas demonstrāciju, kas aplūko dalībnieka fokusa/uzmanības līmeni (viens vesels skaitlis) un pārvērš to kameras pozīcijā (izmantojot panoramēšanu un noliekšanu) un kameras fokusā (iekšēji, izmantojot OpenCV). To visu nodrošina Bluetooth savienojums starp Neurosky EEG lasītāju austiņām un Raspberry Pi.

Raspberry Pi ir mazs dators, kas aprīkots ar tīmekļa kameru un skriptiem (pieejams zemāk), kas savieno dalībnieka smadzeņu darbību ar kameras iestatījumiem un kameras stāvokli. Dinamiska kameras pozīcija ir iespējama, izmantojot Arduino mikrokontrolleri, kas uztver signālus no Raspberry Pi. Mēs ceram uz turpmāku attīstību, jo mūsu mērķis ir iekļaut papildu smadzeņu viļņu parametrus (frekvences, kas saistītas ar acu mirgošanu utt.) Un kameras funkcijas (piemēram, nokrāsu, piesātinājumu, spilgtumu utt.).

Tālāk ir sniegti norādījumi, kā izveidot savu Biofeedback Cinema sistēmu.

Laimīgu eksperimentu

1. solis: Piegādes

Viss, kas nepieciešams, lai izveidotu savu Biofeedback Cinema prototipu, ir uzskaitīts zemāk.

1. Neurosky Mindwave Mobile EEG austiņas

2. Raspberry Pi B+ (b+ ir labāks, vairāk USB portu, bet arī B modelis ir piemērots, ja jums ir USB centrmezgls).

   1. Raspberry Pi barošanas adapteris vai akumulators
   2. Wifi dongle vai Ethernet savienojums (nepieciešams tikai iestatīšanas laikā)
   3. Bluetooth dongle saderīgas dongles skatiet wiki
   4. SD karte (vismaz 8 GB) ar NOOBS.

3. Arduino Jebkura tāfele ir piemērota, izmantojot Uno šajā pamācībā. Ņemiet vērā arī to, ka jūs varētu vienkārši izmantot I/O uz Pi.

   1. Arduino strāvas adapteris vai akumulators
   2. A-B USB kabelis
4. USB tīmekļa kamera
5. Mini Pan-Tilt komplekts

6. Monitors ar HDMI ieeju Vai arī izmantojiet VNC, lai attālināti vadītu savu pi no datora [apmācība šeit]

   HDMI kabelis

7. USB tastatūra un pele iesaka Bluetooth tastatūru un peli, lai samazinātu izmantoto USB portu skaitu.

2. darbība: iestatiet Raspberry Pi

1. Iestatiet aparatūru

Pievienojiet Raspberry Pi tastatūru, peli, Bluetooth dongle, wifi dongle (vai Ethernet), tīmekļa kameru, monitoru, izmantojot HDMI kabeli, un barojiet

2. Iestatiet operētājsistēmu

• Ieslēdziet barošanu, un jūsu Pi vajadzētu sākt darboties. Instalējiet Rasbpian OS, instrukcijas šeit:
• Ja bootēts un Raspian ir pareizi instalēts, jums vajadzētu redzēt mājas darbvirsmu [Attēls iepriekš].

PADOMI:

• Ja darbvirsmas malu attiecība ir izslēgta, mēģiniet pārstartēt Raspberry Pi. Ja tas joprojām ir izslēgts, skatiet šeit, lai manuāli atjauninātu malu attiecību.
• Ja atverat teksta redaktoru un tastatūras īpašās rakstzīmes ir nepareizas, skatiet šeit, lai atjauninātu tastatūras konfigurāciju.
• Pārbaudiet savu interneta savienojumu (tas būs nepieciešams, lai instalēšanas laikā instalētu bibliotēkas). Meklējiet palīdzību, lai iestatītu wifi.

3. darbība: pievienojiet Neurosky austiņas

1. Bluetooth konfigurācija

Pirms Pi var izveidot savienojumu ar Neurosky, mums ir jāiestata Bluetooth:

Uz darbvirsmas atveriet "LXTerminal" (turpmāk tekstā saukts par termināli). Palaidiet šo komandu, lai novērstu un atjauninātu trūkumus:

$ sudo apt-get atjauninājums

Instalējiet Bluetooth, izmantojot šo komandu:

$ sudo apt-get instalējiet Bluetooth

Instalējiet ērtu darbvirsmas rīkjoslas Bluetooth utilītu:

$ sudo apt-get install -y bluetooth bluez-utils blueman

Pārstartējiet Pi no termināļa:

$ sudo atsāknēšana

2. Pārbaudiet Bluetooth savienojumu

• Ieslēdziet Neurosky austiņas
• Termināļa ierīču skenēšana:

hcitool skenēšana

Jāiekļauj Mindwave austiņas, ņemiet vērā austiņu MAC adresi [attēls iepriekš]

3. Instalējiet Neurosky bibliotēkas

Tagad mēs esam gatavi instalēt Neurosky Python bibliotēkas un sākt uzņemt tās datu plūsmu, izmantojot bibliotēkas testa skriptu:

No termināļa instalējiet utilītu github:

sudo apt-get instalēt git-core

Klonēt github krātuvi ar Neurosky Python bibliotēku:

sudo git klons

Mums ir jāatjaunina MindwaveMobileRawReader.py fails ar austiņu MAC adresi. FYI: failu nosaukumos ir reģistrjutība

sudo nano /home/pi/python-mindwave-mobile/MindwaveMobileRawReader.py

• Atjauniniet failā norādīto MAC adresi. Ctrl-X, lai pabeigtu, Y, lai saglabātu, Enter, lai izietu.
• Savienojiet pārī Neurosky un Pi un atļaujiet automātiskā savienojuma funkciju, ja tiek prasīts ievadīt PIN kodu “0000”:

$ sudo bluez-simple-agent hci0 XX: XX: XX: XX: XX: XX

$ sudo bluez-test-device trusted XX: XX: XX: XX: XX: XX jā

Instalējiet Python Bluetooth bibliotēku:

sudo apt-get instalēt python-bluez

Palaidiet bibliotēkas testa skriptu, lai pārliecinātos, ka Pi spēj priekšskatīt datu plūsmu. Jums vajadzētu redzēt datu straumēšanu [attēls iepriekš]:

$ sudo python /home/pi/python-mindwave-mobile/read_mindwave_mobile.py

4. darbība: pievienojiet USB tīmekļa kameru ar atvērtu CV

1. Instalējiet OpenCV

No termināļa:

$ sudo apt-get install libopencv-dev python-opencv

Kad esat pabeidzis, turpiniet:

$ sudo apt -get -f instalēt

Labam pasākumam:

$ sudo apt-get install libopencv-dev python-opencv

Pārbaudiet instalēšanu, mēģinot importēt bibliotēku:

$ pitons

> importēt cv2

2. Pārbaudiet OpenCV programmā Python, izmantojot USB tīmekļa kameru

• Darbvirsmā atveriet "IDLE" (neatveriet IDLE3!)
• Izvēlnē Fails atlasiet Jauns logs. Kopējiet mūsu Cv-Blur-Test skriptu jaunajā logā un saglabājiet. Skripts pieejams šeit:
• Izvēlnē Palaist atlasiet Palaist moduli (vai nospiediet F5). Lai sāktu darbu, var paiet dažas sekundes, taču, redzot tiešraides tīmekļa kameras plūsmu, vajadzētu redzēt nelielu rāmi, un videoklipam jābūt neskaidram. Apsveicam, OpenCV tika instalēts un veiksmīgi darbojas ar jūsu tīmekļa kameru [Attēls iepriekš].

5. darbība: pievienojiet Arduino

1. Lejupielādējiet Arduino IDE

No termināļa:

sudo apt-get instalēt arduino

2. Savienojiet Arduino & Load Sketch

• Pievienojiet arduino Pi, izmantojot A-B USB kabeli.
• Darbvirsmas sākuma izvēlnē dodieties uz Electronics un atveriet Arduino IDE. Kopējiet mūsu arduino-serial-pi skici IDE [saite zemāk]. Šī ir ļoti vienkārša skice, kas pārvietos servodzinējus, pamatojoties uz sērijas ievadi. Mēs nosūtīsim datus pa sēriju, pamatojoties uz smadzeņu viļņu izvadi, izmantojot Python skici pēdējā posmā, kad visu saliksim kopā.

Arduino-serial-pi skice tiešsaistē šeit:

Arduino IDE dodieties uz izvēlni Rīki, atlasiet Sērijas ports un atlasiet sarakstā iekļauto Arduino portu, iespējams, kaut ko līdzīgu /dev /ttyACM0. Pierakstiet ostu

3. Atspējojiet seriālo konsoli

Lejupielādējiet un palaidiet skriptu, lai atspējotu seriālo konsoli, lai USB seriālais savienojums varētu darboties nevainojami:

$ wget

/alamode-setup.tar.gz?raw=true -O alamode-setup.tar.gz

$ tar -xvzf alamode -setup.tar.gz

$ cd alamode-setup

$ sudo./setup

$ sudo atsāknēšana

FYI:

Ja izmantojat B+, iespējams, būs pietiekami daudz I/O, lai atbalstītu servos (skatiet šeit, lai iestatītu un izmantotu GPIO). Tomēr esmu ieinteresēts pievienot papildu komponentus turpmākiem smadzeņu un elektronikas eksperimentiem. Tātad, sākotnējā prototipa iestatīšana ar arduino nodrošina daudzas izlaušanās elektroniskās iespējas.

6. solis: salieciet to visu kopā

1. Pēdējais Python skripts

Pirms mēs varam pievienot pēdējo python skriptu mapei "python-mindwave-mobile", mums ir jāmaina mapes atļaujas. No termināļa:

$ chmod a = rwx/home/pi/python-mindwave-mobile

• Atveriet IDLE un palaidiet mūsu pēdējo Python skriptu, kas pieejams tiešsaistē šeit: https://github.com/PrivateHQ/biofeedback-cinema/ Pārliecinieties, vai tas atrodas mapē python-mindwave-mobile. FYI: Jums būs jāatjaunina mūsu Python skripts ar savu faktisko Arduino porta adresi.
• Palaižot šo skriptu, jums vajadzētu notikt trīs lietas: 1) jūsu uzmanības līmenis tiks norādīts Python Shell, 2) parādās neliels rāmis, kurā redzama tīmekļa kameras tiešraides plūsma, mainoties izplūšanai atkarībā no uzmanības līmeņa, 3) motoram (s) pārvietoties, jo uzmanības līmenis tiek nodots arduino, izmantojot sērijas [Video iepriekš].

7. darbība. Uzlabojumi un attīstība

Raspberry Pi ir ierobežota apstrādes jauda, un tā cīnās, lai OpenCV funkcijas darbotos nevainojami. Tas ir kaut kas, ko es turpināšu attīstīt un uzlabot. Turklāt turpmākajās iterācijās es plānoju iekļaut papildu smadzeņu viļņu parametrus (frekvences, kas saistītas ar acu mirgošanu utt.) Un kameras funkcijas (ti, nokrāsu, piesātinājumu, spilgtumu utt.).