Personīgais angļu treneris - AI balss palīgs: 15 soļi

2025 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2025-01-23 14:59

Šis projekts palīdzēs studentiem, kuri gatavojas jebkuram valodas eksāmenam, kur viņus var apmācīt, mijiedarbojoties ar Snips AI.

1. darbība: stāsts

Kāpēc mēs to uzbūvējām?

No savas personīgās pieredzes esmu redzējis daudzus cilvēkus, kas gatavojas dažādiem valodu pārbaudījumiem, piemēram, GRE, TOEFL, IELTS. Viņiem ir nepieciešama persona, kas viņiem palīdzētu iegaumēt un saprast vārdus. Parasti, kad persona gatavojas šādiem eksāmeniem, viņiem ir nepieciešama persona, kas pārbauda un labo, ja viņi kļūdās. Izmantojot šo risinājumu, mēs varam samazināt darbaspēku, izmantojot balss palīgu.

2. darbība. Aparatūras veidošana

Pirmkārt, es vēlos pateikties SNIPS un SEEED par atbalstu šim projektam ar pārsteidzošo Snips balss mijiedarbības attīstības komplektu (bāzes komplektu), es patiešām jutos informatīvs, izmantojot šo tāfeli, un spēju sasniegt dažus sarežģītus projektus, kas integrēti PCB.

Jūs varat iegādāties Snips balss mijiedarbības bāzes komplektu par 115 ASV dolāriem un Snips balss mijiedarbības satelīta komplektu par 85 ASV dolāriem

3. darbība. Darba sākšana ar SNIPS

Pirms darba sākšanas pārskatīsim, kas jums nepieciešams.

• Raspberry Pi 3B/B+ (ieteicams) vai Pi 2 modelis B (atbalstīts).
• Mikro-USB kabelis un mikro-USB strāvas adapteris Raspberry Pi.
• Micro SD karte (vismaz 8 GB) - lai sāktu darbu, nepieciešama operētājsistēma. Jūs varat lejupielādēt Raspbian Stretch un izmantot Mac OS, Linux un Windows rokasgrāmatas vietnē Raspberry Pi.
• USB tastatūra un pele un ārējs HDMI monitors - mēs arī iesakām paņemt līdzi USB tastatūru un peli, kā arī HDMI monitoru.
• Interneta savienojums (Ethernet vai WiFi)

Snips balss mijiedarbības bāzes komplekts

Snips balss mijiedarbības attīstības komplekti ļauj lietotājiem sākt balss saskarņu izstrādi un viegli integrēt Snips AI balss platformu ar aparatūru. Ierīcē darbojas fragmenti, kas nozīmē, ka visas jūsu balss komandas un dati tiek apstrādāti lokāli, nevis nosūtīti uz mākoni. Šīs ierīces apstrādes rezultātā tiek iegūts pilnīgi drošs bezsaistes balss palīgs, kas jūsu personas datus saglabā privāti, kā tam vajadzētu būt.

Balss mijiedarbības bāzes komplekts ļauj palaist visu Snips AI balss platformu. To darbina Raspberry Pi 3 modelis B+ un ReSpeaker 2-Mics Pi HAT, tas var darboties kā jūsu mājas viedais skaļrunis. Kopā ar komplektu nāk skaļrunis, Grove - temperatūras un mitruma sensors (SHT31), Grove - relejs un dēlis, lai to pakārtu pie sienas vai izveidotu jauku statīvu.

Bet tas vēl nav viss! Balss mijiedarbības satelīta komplekts paplašinās jūsu bāzes staciju, lai sasniegtu katru jūsu mājas istabu, un ļaus jums mijiedarboties ar aparatūru, pamatojoties uz vietu, kur jūs izsniedzat savas komandas!

Šajā komplektā ietilpst Raspberry Pi3 B+ plāksne, ReSpeaker 2 -Mics Pi HAT, Grove - relejs, Grove - temperatūras un mitruma sensors (SHT31), skaļrunis 6 omi 2W, MicroSD karte, strāvas adapteris ar Micro USB savienotāju, Grove kabelis x 2, akrila pamatne panelis.

Montāžas soļi: (SNIPS saturs) Šis attēls ir montāžas detaļu pārskats.

Šeit montāžas detaļas ir uzstādītas uz pamatnes paneļa.

Pēc tam visas elektroniskās detaļas tiek montētas uz tāfeles.

Pēc tam uzstādiet aizsargājošo akrila pārsegu Grove -releja augšpusē.

Šīs divas daļas tiek izmantotas, lai komplektu padarītu par galda statīvu.

Visbeidzot, jūs esat gatavs spēlēt ar Snips.

Komplekts nodrošina divus izvietošanas veidus. To var novietot uz horizontālas virsmas, piemēram, statīva, vai arī pakārt pie sienas, izmantojot vadus vai diegu. Lūdzu, esiet piesardzīgs ar releju, kad komplekts ir ieslēgts, jo darba spriegums būs augsts.

PIEZĪME. Mums ir arī Snips balss mijiedarbības satelīta komplekts, kuram Raspberry Pi 3B+ vietā ir Raspberry Pi nulle.

4. darbība: saskarne ar Snips AI (pamatprojekts)

• Barojiet komplektu ar komplektā esošo noklusējuma strāvas adapteri vai izmantojiet 5V-2A līdzstrāvas adapteri ar Micro USB savienotāju.
• Nākamais solis ir Snips palīga instalēšana Raspberry Pi. Lai ietaupītu iestatīšanas laiku, komplektā esošā MicroSD karte ir mirgo ar pilnu funkcionālās sistēmas attēlu, kas nozīmē, ka Snips palīgs ir gatavs jūsu aktivizējošajiem vārdiem.
• Mēs iesakām jums pakāpeniski izpētīt instalēšanas rokasgrāmatu, apmeklējot vietni https://docs.snips.ai/getting-started/quick-start… un iemācīties sam rīku komandrindā.
• Aktivizējiet palīgu, sakot “Hey-snips”, un izpildiet komandu:

Tālāk varat atrast piemēra video, kas iepriekš instalēts Snips balss mijiedarbības bāzes komplektā.

5. darbība: saskarne ar Snips AI (projekts AI)

Tātad tas darbojas šādi. Pirmkārt, mēs izmantojam karsto vārdu, lai sāktu Snips atpazīšanu. Tas saprot teikumu, izmantojot Snips NLU, un nosaka nodomu. Pēc tam, izmantojot nolūku, attiecīgi iegūstiet spraugas. Izmantojot darbības kodu, mēs ieprogrammējam AI reakciju atbilstoši laika nišām.

6. darbība. Lietotnes izveide un nodomi

• Izveidojiet palīgu. Manā gadījumā es biju izveidojis palīgu ar vārdu JARVIS un ar karsto vārdu JARVIS.
• Izveidojiet pielāgotu lietojumprogrammu vai iesācējiem izmantojiet lietojumprogrammu no bibliotēkas.
• Es biju izveidojis lietojumprogrammu ar nosaukumu Vārdi
• Izveidojiet nodomu un sāciet apmācīt AI. Tam ir liela nozīme, lai padarītu jūsu AI izturīgu. Apmāciet to ar visiem iespējamiem ievadiem.
• Izveidojiet slotu, lai identificētu vārdus. Novietojiet spraugu pie paredzētās teikuma frāzes. Manā piemērā dotais vārds ir slota nosaukums, un tas ir iezīmēts ar zilu krāsu.
• Kad tas ir izdarīts, jūsu pielāgotais ASR būs gatavs. Izmēģiniet ar ievadi. Mēs varam atrast atbildi labajā pusē zem asistenta. Tas ļauj iegūt neapstrādātu vērtību, nodomu nosaukumu un slotu.
• Definējiet laika nišas, izmantojot tālāk sniegtos piemērus
• Visbeidzot, izvietojiet savu palīgu, lai izbaudītu personalizēto AI.

7. solis: ierakstiet Raspbian SD kartē

Raspbian ir izvēles Linux izplatīšana, kas darbojas Raspberry Pi. Šajā rokasgrāmatā mēs izmantosim vienkāršoto versiju, taču var izmantot arī darbvirsmas versiju (ar grafisko vidi).

• Lejupielādējiet Etcher un instalējiet to.
• Pievienojiet SD karšu lasītāju ar iekšpusē esošo SD karti.
• Atveriet Etcher un no cietā diska atlasiet Raspberry Pi.img vai.zip failu, kuru vēlaties ierakstīt SD kartē.
• Atlasiet SD karti, kurā vēlaties ierakstīt attēlu.
• Pārskatiet savas izvēles un noklikšķiniet uz "Flash!" lai sāktu ierakstīt datus SD kartē

Pievienojiet ierīci tīklam

• Iespējojiet SSH piekļuvi, pievienojot tukšu failu ssh, kas atkal atrodas SD kartes sāknēšanas apjoma saknē.
• Ievietojiet SD karti Raspberry Pi. Tas tiks palaists aptuveni 20 sekundēs. Tagad jums vajadzētu būt SSH piekļuvei jūsu Raspberry Pi. Pēc noklusējuma tā saimniekdatora nosaukums būs raspberrypi.local. Datorā atveriet termināļa logu un ierakstiet šo:

ssh [email protected]

Noklusējuma parole ir aveņu

8. darbība: instalējiet Snips platformu

Ja vēl neesat to izdarījis, instalējiet datorā Sam komandrindas saskarni. Atveriet termināļa logu un ievadiet:

sudo npm install -g snips -samor npm install -g snips -sam // Windows

Atrodiet savu Raspberry Pi tīklā, palaižot:

līdzīgas ierīces

Pēc tam izveidojiet savienojumu ar ierīci. Jums tiks prasīts ievadīt ierīces lietotājvārdu un paroli (noklusējuma vērtība ir attiecīgi pi un aveņu):

sam connect

Tagad mēs esam gatavi instalēt Snips platformu Raspberry Pi. Ievadiet komandu:

sam init

9. darbība: konfigurējiet aparatūru

Sems sniedz dažas komandas, lai viegli uzstādītu un konfigurētu aparatūras komponentus. Šajā sadaļā mēs uzstādīsim skaļruni un mikrofonu. Atkarībā no iestatījumiem ir jāveic dažas pielāgotas konfigurācijas.

sam iestatīšanas audio

Pārbaudiet skaļruni

Lai pārbaudītu, vai skaļrunis darbojas, palaidiet

sam testa skaļrunis

Ja viss darbojas labi, skaļrunī vajadzētu dzirdēt balsi, kas saka dažus vārdus. Mikrofona konfigurēšana Varat pārbaudīt, vai mikrofons darbojas:

testa testa mikrofons

Pieņemot, ka jums ir skaļrunis, ja jūs skaidri dzirdat to, ko tikko teicāt, varat turpināt darbu bez papildu mikrofona konfigurācijas.

Kad esat pārliecināts, ka aparatūras iestatīšana darbojas, esat gatavs pāriet uz nākamo soli, kurā izvietojat savu pirmo palīgu.

10. darbība: AI modeļa importēšana no konsoles

Kad esat izveidojis palīgu no iepriekšējām darbībām, piesakieties konsolē no termināļa loga, palaižot:

sam login

Jums tiks lūgts ievadīt Snips Console akreditācijas datus.

Pēc tam instalējiet palīgu:

sam instalēšanas palīgs

Ja konsolē esat izveidojis vairākus palīgus, jums tiks piedāvāts no saraksta izvēlēties, kuru no tiem instalēt.

11. darbība: apstrādātāja un darbības kods

Lai Raspberry Pi reaģētu, mums būs jāraksta kāds apstrādātāja kods. Šis ir kods, kas tiek izpildīts, kad Snips platformā notiek kāds notikums, piemēram, ja tiek atklāts nodoms.

Atkarībā no funkcijas jums ir dažādas metodes Handler izveidei.

Datorā izveidojiet mapi, kurā vēlaties saglabāt savu apstrādātāja kodu. Termināla logā mainiet šo direktoriju un ievadiet:

npm init

Tādējādi tiks izveidots fails ar nosaukumu package.json, kas satur jūsu projekta aprakstu, atkarības un daudz ko citu. Pēc tam pievienojiet atkarību no pakotnes mqtt:

npm instalēt mqtt --saglabāt

Tagad izveidojiet failu ar nosaukumu index.js un ielīmējiet šo kodu, aizstājot mainīgā resursdatora nosaukumu ar sava Raspberry Pi saimniekdatora nosaukumu (ja tas atšķiras no noklusējuma raspberrypi):

var mqtt = pieprasīt ('mqtt');

var resursdatora nosaukums = "mqtt: //raspberrypi.local"; var klients = mqtt.connect (resursdatora nosaukums); client.on ('connect', function () {console.log ("[Snips Log] Savienojums ar MQTT brokeri" + resursdatora nosaukums); client.subscribe ('hermes/#');}); client.on ('ziņojums', funkcija (tēma, ziņojums) {if (topic === "hermes/asr/startListening") {onListeningStateChanged (true);} else if (topic === "hermes/asr/stopListening") {onListeningStateChanged (false);} else if (topic.match (/hermes \/hotword / /.+ \/atklāts/g)! == null) {onHotwordDetected ()} cits if (topic.match (/hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (ziņojums));}}); function onIntentDetected (nolūks) {console.log ("[Snips Log] Tika konstatēts nodoms:" + JSON.stringify (nodoms)); } funkcija onHotwordDetected () {console.log ("[Snips Log] Hotword atklāts"); } function onListeningStateChanged (klausoties) {console.log ("[Snips Log]" + (klausoties? "Start": "Stop") + "klausos"); }

Palaidiet šo kodu, izmantojot mezglu:

mezgls index.js

Jums vajadzētu redzēt ziņojumu par veiksmīgu savienojumu ar Snips MQTT brokeri. Tāpat kā iepriekš, veiciet balss mijiedarbību ar savu Raspberry Pi:

Čau Snips, kādi ir laika apstākļi Čennai

Jums vajadzētu redzēt žurnālu atjaunināšanu:

[Snips žurnāls] Savienojums ar MQTT brokeri mqtt: //raspberrypi.local

[Snips žurnāls] Tika atrasts karstvārds [Snips žurnāls] Sāciet klausīties [Snips žurnāls] Pārtrauciet klausīšanos [Snips žurnāls] Tika konstatēts nodoms: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" noklusējums "," input ":" kādi ir laikapstākļi Šenē "," kavēšanās ": {" intentName ":" searchWeatherForecast "," probability ": 0.73845243}," slots ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "prognozes_lokācija"}]}

12. darbība. Problēmu novēršana

Izdzēsiet iepriekšējo palīgu, ja tāds ir

$ sudo rm -rf/usr/share/snips/asistents/

Lai mainītu direktoriju uz Asistentu

cd/var/lib/snips/skills/

Lai klonētu repo saturu vietējam

git klons

Lai palaistu skriptu setup.sh

./setup.sh

Aktivizējiet virtuālo vidi

avots venv/bin/aktivizēt

Palaidiet darbības kodu

./action-.py

Lai dotu atļauju Python skriptam

chmod +x action-.py

13. darbība: iežogojums

• Šim projektam es biju izmantojis IP vērtējumu
• Pirmkārt, es izveidoju nepieciešamos caurumus, lai uzstādītu strāvas vada un HDMI kabeļa shēmas un slotus.
• Tad es ievietoju visu Raspberry Pi korpusa iekšpusē un stingri ieskrūvēju to.
• Es izveidoju nelielu atveri skaļrunim un mikrofonam un pārklāju to, izmantojot nelielu akrila loksnes gabalu.
• Stingri pievienojiet skaļruni ReSpeaker cepurei.
• Visbeidzot, visas skrūves ir stingri piestiprinātas, un strāvas kabelis tiek ievietots caur slotu.
• Beidzot šādi izskatās AI: D

14. solis: AI darbs

Jūs varat atrast datus, kas tiek uzraudzīti, izmantojot Snips-watch

Tagad ir izrādīšanas laiks. Es sāku veidot ar vienkāršiem sveicieniem AI. Apskatiet to, kā tas darbojas.

Trenažiera AI ir ieprogrammēts ierobežotiem vārdiem. To var paplašināt ar nelielām izmaiņām. Tas palīdz studentiem ātrāk iegaumēt nozīmi nekā tradicionālā metode.

Uzmanību: Šis projekts ir apmācīts aptuveni 25 vārdiem. To var vēl vairāk paplašināt, veicot nelielas darbības koda izmaiņas.

Darbības skriptus varat atrast manā Github krātuvē.

Projekta Repo sveicieniem AI-https://github.com/Rahul24-06/Greetings_Assistant-TTS

Projekta repo trenerim AI-https://github.com/Rahul24-06/Personal-English-Trainer---TTS

Saite uz manu lietojumprogrammu:

Visa iestatīšana maksā aptuveni 115 USD, ko var iegādāties no SNIPS, un šis risinājums ir ļoti lēts un efektīvs, salīdzinot ar tradicionālajām metodēm. Indijā tika veikti aptuveni vairāk nekā 100 000 testu, un šis produkts būs labākais papildinājums GRE lietotājiem.

Palieciet īkšķi, ja tas jums patiešām palīdzēja, un sekojiet manam kanālam interesantiem projektiem.:) Dalies ar šo video, ja patīk. Prieks, ka abonējāt: https://console.snips.ai/store/en/skill_xBKlxnE5K… Paldies, ka lasījāt!