Rokas kustību atpazīšanas ierīce: 5 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:53

Pārskats

Šajā projektā mēs izgatavosim cimdu, kas atpazīs dažas pamata rokas kustības, izmantojot MicroBit un dažus sensorus. Mēs izmantosim Bluetooth iespējas MicroBit kopā ar Android lietotni un tīmekļa serveri, lai apmācītu mašīnmācīšanās modeli, lai identificētu roku kustības.

Darba sākšana

Lielākā daļa šajā projektā paredzēto pūļu tiek veltītas programmatūras pusei, un viss šī projekta izpildei nepieciešamais kods ir pieejams vietnē GitHub. Kodu bāzē ietilpst 3 komponenti, kods, lai ģenerētu HEX failu MicroBit, Android lietotnes koda bāze, kuras pamatā ir MicroBit Foundation lietotne MicroBit Blue, ar izmaiņām, kas veiktas šim konkrētajam lietošanas gadījumam, un tīmekļa serveris ar kodu apmācot uz Tensorflow balstītu modeli, lai identificētu roku kustības.

Tālāk mēs redzēsim, kā izveidot cimdu un savienot to ar lietotni un tīmekļa serveri.

Piegādes

• 1 BBC mikrobit
• 1 bateriju turētājs ar 2 AAA baterijām
• 1 cimds
• Džemperu vadu komplekts, aligatora skavas
• Elastīgs sensors
• Spēka sensors
• Velcro
• Elektriskā lente
• Android tālrunis
• Dators/klēpjdators

1. darbība: 1. darbība. MicroBit un akumulatora iestatīšana

• Sāciet, pievienojot akumulatora turētāju pie velcro daļas, kā parādīts pirmajā attēlā. Izmantojiet elektrisko lenti, lai stingri piestiprinātu akumulatora turētāju pie velcro siksnas.
• Pēc tam izveidojiet cilpu ar elektrisko lenti tā, lai tā būtu lipīga abās pusēs, un uzlīmējiet to akumulatora bloka augšpusē.
• Piestipriniet MicroBit uz lentes cilpas, lai stingri piestiprinātu MicroBit pie akumulatora turētāja, kā parādīts otrajā attēlā.

2. darbība: pievienojiet sensorus

• Izpildiet attēlā redzamo shēmu, lai savienotu elastīgo sensoru ar MicroBit 1. tapu un spēka sensoru ar MicroBit 0 tapu.
• Nostipriniet sensorus uz cimda, izmantojot elektrisko lenti, kā parādīts attēlos.

3. darbība. Aparatūras pabeigšana

• Izmantojiet velcro siksnu galus, lai izveidotu cilpu, un pabīdiet cilpu pāri cimda pirkstiem, kā parādīts attēlā.
• Jūs varat izmantot stiepļu saites, lai nostiprinātu vadus uz cimda, lai novērstu to pārāk lielu pārvietošanos.

Nākamajā sadaļā mēs apskatīsim, kā iestatīt programmatūru.

4. solis: programmatūras iestatīšana

Tālruņa savienošana pārī ar MicroBit

1. Lai savienotu pārī tālruni, vispirms pārliecinieties, vai tālrunī ir ieslēgts Bluetooth.
2. Ieslēdziet MicroBit un nospiediet un turiet gan A, gan B pogas. Tajā pašā laikā nospiediet un atlaidiet atiestatīšanas pogu, vienlaikus turot pogas A un B. Mikrobitam tagad vajadzētu pāriet pārī savienošanas režīmā.
3. Tālrunī atrodiet savu MicroBit Bluetooth ierīču sarakstā, kur parasti pievienojat jaunu Bluetooth ierīci, un sāciet savienošanu pārī. MicroBit ierīcē redzēsit bultiņu, kas norāda uz pogu A. Nospiežot šo pogu, MicroBit parādīs ciparu sēriju, kas ir pāra kods, kas jāievada tālrunī. Kad esat ievadījis kodu savā tālrunī un izvēlējies pāri, MicroBit ir jāparāda atzīme.
4. Nospiediet MicroBit atiestatīšanas pogu.

Programmatūras iestatīšana

Izpildiet ReadMe rokasgrāmatas katrā GitHub krātuves apakšmapē, lai iestatītu Android lietotnes projektu programmā Android Studio, izveidotu un zibspuldzi HEX failā savā MicroBit un palaistu tīmekļa serveri mašīnmācīšanās modeļu palaišanai.

5. darbība: lietošana

Tīmekļa serveris

Atveriet termināli Web servera projektu direktorijā un palaidiet "python server.py", lai palaistu serveri pēc tam, kad esat izpildījis ReadMe norādījumus, lai instalētu atkarības

Android lietotne

1. Izveidojiet un izveidojiet APK Android lietotnei no Android Studio. Palaidiet lietotni pēc tālruņa savienošanas pārī ar MicroBit (skatiet iepriekšējo darbību).
2. Akselerometra lapā varat iestatīt tīmekļa servera URL, izmantojot iestatījumu izvēlni augšējā labajā stūrī. Noteikti mainiet to uz sava tīmekļa servera IP.
3. Pagaidiet, līdz akselerometra rādījumi sāk aizpildīties no MicroBit. Redzēsit, ka rādījumi mainās ar dažādu frekvenci. Lai mainītu frekvenci, nospiediet pogu MicroBit. Ideālā gadījumā varat izmantot frekvences vērtību 10 (kura paraugi tiek rādīti ik pēc 10 ms)
4. Kad rādījumi ir aizpildīti, nosauciet savu žestu, izmantojot tekstlodziņu ar apzīmējumu “Žests:”, un nospiediet ierakstīšanas pogu. Tiklīdz jūs nospiežat ierakstīšanas pogu, atkārtoti kustiniet roku, līdz poga atkal tiek aktivizēta.
5. Atkārtojiet 3. darbību, lai ierakstītu vairākus žestus.
6. Nospiediet vilciena pogu, lai serverī sāktu modeļa apmācību. Kad apmācība ir pabeigta (apmēram 15 sekundes), varat turpināt prognozēt.
7. Nospiediet prognozēšanas pogu un veiciet kustību/žestu. Lietotne centīsies to pēc iespējas labāk saskaņot ar kādu no apmācītajām kustībām.