Magicbit datu vizualizēšana AWS: 5 soļi

2024 Autors: John Day | [email protected]. Pēdējoreiz modificēts: 2024-01-30 10:51

Dati, kas savākti no sensoriem, kas savienoti ar Magicbit, tiks publicēti AWS IOT kodolā, izmantojot MQTT, lai tos grafiski vizualizētu reālā laikā. Šajā projektā, kura pamatā ir ESP32, mēs izmantojam magicbit. Tāpēc šajā projektā var izmantot jebkuru ESP32 izstrādes plati.

Piegādes:

Magicbit

1. darbība: stāsts

Šis projekts ir par jūsu Magicbit ierīces pievienošanu AWS mākonim, izmantojot MQTT. Dati, kas nosūtīti caur MQTT, tiek analizēti un vizualizēti mākonī, izmantojot AWS pakalpojumus. Tātad, sāksim darbu

Vispirms dodieties uz AWS konsoli un pierakstieties. Mācību nolūkos varat izmantot AWS piedāvāto bezmaksas līmeņa iespēju. Šim projektam ar to pietiks.

Lai padarītu to vienkāršāku, es sadalīšu projektu divās sadaļās.

Šis būs mūsu projekta pirmais posms. Pirmā posma beigās dati tiks saglabāti S3 spaiņos.

AWS pakalpojumi, kas tiks izmantoti pirmajā sadaļā,

• Kinesis Firehose
• AWS līme
• AWS S3

Vispirms dodieties uz pakalpojumu AWS Kinesis.

Izvēlieties Kinesis Data Firehose, kā parādīts zemāk, un noklikšķiniet uz Izveidot

Pēc tam jūs tiksit novirzīts uz Firehose pakalpojuma izveides 1. darbību. Ievadiet piegādes straumes nosaukumu un izvēlieties Direct Put vai Citi avoti. Noklikšķiniet uz Tālāk.

Otrā soļa logā atstājiet visu kā noklusējumu un noklikšķiniet uz Tālāk. Pēc AWS līmes pakalpojuma izveides mēs atgriezīsimies, lai rediģētu šo darbību.

3. solī izvēlieties S3 kausu, ja esat to izveidojis iepriekš. Pretējā gadījumā noklikšķiniet uz izveidot un izveidot kopu. S3 prefiksa sadaļā izmantojiet dest/ un kļūdas prefiksā ievadiet error/. Iepriekš minētajiem diviem varat ievadīt jebkuru nosaukumu. Bet ērtības labad mēs turpināsim ar kopīgu nosaukumu. Noteikti izveidojiet mapi, kuras nosaukums ir dest, jūsu izvēlētajā spainī. Noklikšķiniet uz Tālāk.

4. solī izvēlieties minimālo bufera lielumu un bufera intervālu datu pārsūtīšanai reālā laikā. Sadaļā Atļaujas izvēlieties Izveidot vai atjaunināt IAM lomuKinesisFirehoseServiceRole. Saglabājiet visu pēc noklusējuma. Noklikšķiniet uz Tālāk.

Nākamajā sadaļā tiks parādīts jūsu veikto izmaiņu pārskats. Noklikšķiniet uz Labi. Tad jums būs funkcionējoša Kinesis Firehose.

Ja esat veiksmīgi izveidojis Firehose pakalpojumu, jūs iegūsit kaut ko līdzīgu šim.

2. darbība. Ugunsdzēsības šļūtenes un S3 kausa pārbaude

Lai pārbaudītu, vai ugunsdzēsības šļūtene un S3 spainis darbojas pareizi, konsolē atlasiet IOT kodols. Jūs tiksit novirzīts uz šādu lapu. Izvēlieties Noteikums un izveidojiet kārtulu.

Kas ir AWS IOT noteikums?

To izmanto, lai pārsūtītu visus datus, kas saņemti no MQTT, uz noteiktu pakalpojumu. Šajā piemērā mēs nosūtīsim uz Kinesis Firehose.

Izvēlieties noteikumu nosaukumu. Atstājiet noteikumu un vaicājumu paziņojumu tādu, kāds tas ir. Tas mums norāda, ka viss, kas publicēts tēmā iot/topic, tiks pārsūtīts uz kinesis Firehose, izmantojot šo noteikumu.

Sadaļā Iestatīt vienu vai vairākas darbības noklikšķiniet uz Pievienot darbību. Izvēlieties Sūtīt ziņojumu Amazon Kinesis Firehose Stream. Izvēlieties konfigurēt. Pēc tam atlasiet iepriekš izveidotās ugunsdzēsības šļūtenes straumes nosaukumu. Pēc tam noklikšķiniet uz Izveidot lomu un izveidojiet lomu. Tagad jūs esat veiksmīgi izveidojis lomu AWS.

Jebkurš jūsu publicētais ziņojums tiks pārsūtīts caur Kinesis Firehose uz S3 segmentiem.

Paturiet prātā, ka Firehose sūta datus, kad tā buferis ir piepildīts vai kad tiek sasniegts bufera intervāls. Minimālais bufera intervāls ir 60 sek.

Tagad mēs varam pāriet uz projekta otro daļu. Šī būs mūsu datu plūsmas diagramma.

3. darbība. AWS līmes konfigurēšana

Kāpēc mums ir nepieciešama AWS līme un AWS Athena?

S3 spaiņos saglabātos datus nevar tieši izmantot kā ievadi AWS Quicksight. Vispirms mums jāsakārto dati tabulu veidā. Šim nolūkam mēs izmantojam divus iepriekš minētos pakalpojumus.

Dodieties uz AWS līmi. Sānu rīkjoslā atlasiet Rāpuļprogramma. Pēc tam atlasiet Pievienot rāpuļprogrammu.

Pirmajā solī ievadiet rāpuļprogrammas nosaukumu. Noklikšķiniet uz Tālāk. Nākamajā solī atstājiet to kā noklusējumu. Trešajā solī ievadiet ceļu uz izvēlēto S3 kausu. Atstājiet nākamo logu kā noklusējumu. Piektajā logā ievadiet jebkuru IAM lomu. Nākamajā solī izvēlieties pakalpojuma darbības biežumu.

Ieteicams nolaižamajā lodziņā izvēlēties pielāgotu un izvēlēties minimālo laiku.

Nākamajā solī noklikšķiniet uz Pievienot datu bāzi un pēc tam uz nākamās. Noklikšķiniet uz Pabeigt.

Tagad mums vajadzētu integrēt mūsu Kinesis Firehose ar mūsu izveidoto AWS līmi.

Dodieties uz mūsu izveidoto AWS Kinesis ugunsdzēsības šļūteni un noklikšķiniet uz rediģēt.

Ritiniet uz leju līdz sadaļai Konvertēt ieraksta formātu un izvēlieties Iespējots.

Izvēlieties izvades formātu kā Apache Parkets. Lai iegūtu sīkāku informāciju, aizpildiet informāciju par izveidoto līmes datu bāzi. Datubāzē jāizveido tabula un nosaukums jāpievieno šai sadaļai. Noklikšķiniet uz Saglabāt.

4. darbība. AWS Athena konfigurēšana

Izvēlieties izveidoto datu bāzi un datu tabulu. Vaicājumu sadaļā šis kods ir jāpievieno.

tabulas nosaukums jāaizstāj ar jūsu izveidotās līmes tabulas faktisko nosaukumu.

Noklikšķiniet uz Palaist vaicājumu. Ja tas darbojas, AWS S3 segmentā saglabātie dati jāparāda kā datu tabula.

Tagad mēs esam gatavi vizualizēt iegūtos datus.

5. darbība. QuickSight konfigurēšana

Dodieties uz AWS Quicksight

Augšējā labajā stūrī noklikšķiniet uz Jauna analīze un pēc tam noklikšķiniet uz Jauna datu kopa.

Sarakstā izvēlieties Athena. Uznirstošajā kartītē ievadiet jebkuru datu avota nosaukumu.

Nolaižamajā lodziņā un attiecīgajā tabulā atlasiet līmes datu bāzi. Tādējādi jūs nonāksit šajā lapā.

Velciet un nometiet jebkuru lauku no lauku saraksta un atlasiet jebkuru vizuālo veidu.

Tagad jūs varat vizualizēt visus datus, kas nosūtīti no jūsu MagicBit, izmantojot AWS pakalpojumus !!!

Lai vizualizētu tajos esošos datus, neaizmirstiet atļaut piekļuvi ātrajai informācijai attiecīgajām S3 grupām.