Žestu runas/teksta konvertēšanas cimds: 5 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:53

Šī projekta īstenošanas ideja/virzītājspēks bija palīdzēt cilvēkiem, kuriem ir grūtības sazināties, izmantojot runu, un sazināties, izmantojot roku žestus vai plašāk pazīstamu kā amerikāņu parakstīto valodu (ASL). Šis projekts var būt solis, lai sniegtu šiem cilvēkiem iespēju sadarboties ar citiem cilvēkiem, kuri nespēj saprast zīmju valodu. Šis projekts arī ļaus viņiem uzstāties publiski, neizmantojot cilvēku tulkotāju. Sākumā es tikai mēģināju atklāt dažus vieglākus žestus, piemēram, A, B, I utt., Un esmu arī piešķīris noteiktus žestus parastajiem vārdiem/sveicieniem, piemēram, “Labdien”, “Labrīt” utt.

1. darbība: shēmas montāža

2. darbība: projekta detaļas

Šis projekts ietver valkājamu cimdu ar 4 elastīgiem sensoriem, kas iestrēdzis/iestrādāts cimdā - pa vienam mazajam, vidējam, rādītājpirkstam un īkšķim. Flex sensors netika izmantots gredzenveida pirkstam, jo Arduino Uno R3 bija ierobežotas pieejamības analogās ievades tapas un vispār tāpēc, ka trūka neatkarīgas kustības, ko parādīja pirksts zīmju valodās. Tiek izmantots arī akselerometrs MMA8452Q, kas ir iestrēdzis plaukstas aizmugurē, lai izmērītu rokas orientāciju. Šo sensoru ievade tiek analizēta un izmantota, lai saprastu žestu. Kad žests ir uztverts, atbilstošā rakstzīme/ziņojums tiek saglabāts mainīgajā. Šīs rakstzīmes un ziņojumi turpina apvienoties, līdz tiek veikts noteikts iepriekš noteikts žests, kas norāda uz teikuma pabeigšanu. Kad šis īpašais žests ir atklāts, Arduino saglabāto teikumu virkni nosūta uz Raspberry Pi, izmantojot USB kabeli. Pēc tam Raspberry Pi nosūta saņemto virkni Amazon Cloud Service ar nosaukumu Polly, lai teksta formātā saņemto teikumu pārvērstu runas formātā, un pēc tam straumē saņemto runu skaļrunī, kas savienots ar Raspberry Pi, izmantojot AUX kabeli.

Šis projekts bija tikai koncepcijas apliecinājums, un tam bija labāks aprīkojums un plānošana, un tas bija labāk kalibrēts, lai noteiktu daudzus citus žestus un roku kustības. Pašlaik šajā projektā ir ieprogrammēta tikai ierobežota funkcionalitāte, piemēram, pamata žestu noteikšanai un teksta pārvēršanai runā.

3. darbība: kods

4. solis: soļi

1. Pievienojiet elastīgos sensorus un akselerometru MMA8452Q Arduino, kā norādīts pievienotajā shēmā.

2. Izmetiet programmu Final_Project.ino (atrodams failā Arduino_code.zip) uz Arduino.

3. Savienojiet Arduino ar Raspberry Pi, izmantojot USB kabeli. (A/B tipa kabelis).

4. Ieslēdziet Raspberry Pi, iekopējiet Raspberry_pi_code.zip failu Raspberry Pi un izvelciet to. Pievienojiet skaļruni Raspberry Pi.

5. Kopējiet AWS konta akreditācijas datus, ti, aws_access_key_id, aws_secret_access_key un aws_session_token failā ~/.aws/credentials. Šis solis ir nepieciešams, lai sazinātos ar AWS mākoni un izmantotu AWS pakalpojumus.

6. Palaidiet seria_test.py programmu, kas atrodama izvilktā mapē 4. darbībā.

7. Tagad veiciet žestus, lai veidotu teikumu, un pēc tam veiciet īpašo žestu (Turiet pirkstus un plaukstu taisni un vienā līnijā ar plaukstu pret sevi, un tad pagrieziet plaukstu, pagriežot to uz leju tā, lai tagad jūsu plauksta ir vērsts pret jums un pirkstu gals ir vērsts uz leju pret kājām.) lai teiktu par teikuma pabeigšanu.

8. Turpiniet pārbaudīt termināli, lai iegūtu noderīgu informāciju.

9. Un klausieties, kā pārveidotā runa tiek straumēta skaļrunī.

5. darbība: atsauces

1.

2.

3.

4.