Vizualizacija podatkov iz Magicbita v AWS: 5 korakov

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:02

Podatki, zbrani s senzorji, povezanimi z Magicbitom, bodo objavljeni v jedru AWS IOT prek MQTT, da bodo grafično prikazani v realnem času. Kot razvojno ploščo v tem projektu, ki temelji na ESP32, uporabljamo magicbit. Zato je v tem projektu mogoče uporabiti katero koli razvojno ploščo ESP32.

Zaloge:

Magicbit

1. korak: Zgodba

Ta projekt govori o povezovanju vaše naprave Magicbit z oblakom AWS prek MQTT. Podatki, poslani prek MQTT, se analizirajo in vizualizirajo v oblaku s storitvami AWS. Pa začnimo

Najprej pojdite na konzolo AWS in se prijavite. Za učne namene lahko uporabite možnost brezplačne stopnje, ki jo ponuja AWS. Za ta projekt bo dovolj.

Zaradi poenostavitve bom projekt razdelil na dva dela.

To bo prva faza našega projekta. Na koncu prve stopnje bodo podatki shranjeni v vedrih S3.

Storitve AWS, ki bodo uporabljene v prvem razdelku,

• Kinesis Firehose
• Lepilo AWS
• AWS S3

Najprej se pomaknite do storitve AWS Kinesis.

Izberite Kinesis Data Firehose, kot je prikazano spodaj, in kliknite Ustvari

Nato boste preusmerjeni na 1. korak ustvarjanja storitve Firehose. Vnesite ime toka dostave in izberite Direct Put ali Drugi viri. Kliknite Naprej.

V drugem oknu pustite vse privzeto in kliknite Naprej. Po ustvarjanju storitve lepila AWS se bomo vrnili k urejanju tega koraka.

V 3. koraku izberite vedro S3, če ste ga že ustvarili. V nasprotnem primeru kliknite ustvari in ustvari vedro. V razdelku s predpono S3 uporabite dest/ in v predpono napake vnesite error/. Za zgornja dva lahko vnesete poljubno ime. Toda za lažjo pot bomo nadaljevali s skupnim imenom. V izbranem vedru ustvarite mapo z imenom dest. Kliknite Naprej.

V 4. koraku izberite najmanjšo velikost vmesnega pomnilnika in vmesni interval za prenos podatkov v realnem času. V razdelku Dovoljenje izberite Ustvari ali posodobi IAM roleKinesisFirehoseServiceRole. Naj bo vse privzeto. Kliknite Naprej.

V naslednjem razdelku bo prikazan pregled vaših sprememb. Kliknite V redu. Potem boste imeli delujoč Kinesis Firehose.

Če ste uspešno ustvarili storitev Firehose, boste dobili nekaj takega.

2. korak: Preizkusite Firehose in S3 vedro

Če želite preveriti, ali ognjišče in vedro S3 delujeta pravilno, v konzoli izberite jedro IOT. Preusmerjeni boste na takšno stran. Izberite pravilo in ustvarite pravilo.

Kaj je pravilo AWS IOT?

Uporablja se za posredovanje vseh podatkov, prejetih od MQTT, določeni storitvi. V tem primeru bomo posredovali Kinesis Firehose.

Izberite ime za pravilo. Izjavo o pravilih in poizvedbah pustite takšno, kot je. To nam pove, da bo vse, kar je objavljeno v temi iot/topic, s tem pravilom posredovano kinezis Firehose.

V razdelku Nastavi eno ali več dejanj kliknite dodaj dejanje. Izberite Pošlji sporočilo Amazon Kinesis Firehose Stream. Izberite konfiguracijo. Nato izberite ime prej ustvarjenega ognjiškega toka. Nato kliknite Ustvari vlogo in ustvarite vlogo. Zdaj ste uspešno ustvarili vlogo v AWS.

Vsa sporočila, ki jih objavite, bodo posredovana prek vedrov Kinesis Firehose v vedra S3.

Ne pozabite, da Firehose pošilja podatke, ko je vmesni pomnilnik napolnjen ali ko je dosežen vmesni interval. Najmanjši vmesni interval je 60 sekund.

Zdaj lahko preidemo na drugi del projekta. To bo naš diagram pretoka podatkov.

3. korak: Konfiguriranje lepila AWS

Zakaj potrebujemo lepilo AWS in AWS Athena?

Podatkov, shranjenih v vedrih S3, ni mogoče neposredno uporabiti kot vhod v AWS Quicksight. Najprej moramo podatke urediti v obliki tabel. Za to uporabljamo zgornji dve storitvi.

Pojdite na lepilo AWS. Na stranski orodni vrstici izberite Pajek. Nato izberite Dodaj pajek.

V prvem koraku vnesite ime svojega pajka. Kliknite Naprej. V naslednjem koraku pustite privzeto. V tretjem koraku vnesite pot do izbranega vedra S3. Naslednje okno pustite privzeto. V petem oknu vnesite poljubno vlogo IAM. V naslednjem koraku smo izbrali pogostost izvajanja storitve.

Priporočljivo je, da v spustnem polju izberete po meri in izberete najkrajši čas.

V naslednjem koraku kliknite Dodaj bazo podatkov in nato še naprej. Kliknite Dokončaj.

Zdaj bi morali integrirati naš Kinesis Firehose z lepilom AWS, ki smo ga ustvarili.

Pojdite na ognjišče AWS Kinesis, ki smo ga ustvarili, in kliknite Uredi.

Pomaknite se navzdol do razdelka Pretvori obliko zapisa in izberite Omogočeno.

Izberite izhodni format kot Apache Parket. Za ostale podrobnosti izpolnite podrobnosti baze podatkov o lepilih, ki ste jo ustvarili. V zbirki podatkov je treba ustvariti tabelo in ime dodati v ta razdelek. Kliknite Shrani.

4. korak: Konfiguriranje AWS Athena

Izberite bazo podatkov in podatkovno tabelo, ki ste jo ustvarili. V razdelku za poizvedbe je treba dodati to kodo.

ime-tabele je treba nadomestiti z dejanskim imenom tabele lepila, ki ste jo ustvarili.

Kliknite Zaženi poizvedbo. Če deluje, je treba podatke, shranjene v vedru AWS S3, prikazati kot tabelo podatkov.

Zdaj smo pripravljeni vizualizirati podatke, ki smo jih dobili.

5. korak: Konfiguriranje programa QuickSight

Pomaknite se do AWS Quicksight

V zgornjem desnem kotu kliknite Nova analiza in nato Nov nabor podatkov.

S seznama izberite Athena. Na pojavno kartico vnesite poljubno ime vira podatkov.

V spustnem polju in ustrezni tabeli izberite bazo podatkov o lepilih. To vas bo pripeljalo na to stran.

Povlecite in spustite katero koli polje s seznama polj in izberite poljuben vid.

Zdaj lahko z uporabo storitev AWS vizualizirate vse podatke, poslane z vašega MagicBita !!!

Ne pozabite dovoliti hitrega opazovanja za ustrezna vedra S3, da si vizualizirate podatke v njih.