AI z Grove Zero in Codecraft (Scratch 3.0): 5 korakov (s slikami)

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:03

V tem članku bomo zgradili tri projekte, ki uporabljajo funkcije AI Codecraft, grafičnega programskega okolja, ki temelji na Scratch 3.0. Codecraft razvija in vzdržuje izobraževanje TinkerGen in je brezplačen za uporabo.

Umetna inteligenca in njena podskupina, strojno učenje, je v zadnjih 10 letih postala sestavni del našega življenja. Šolski učni načrti v mnogih državah vključujejo umetno inteligenco in znanje strojnega učenja, vendar povprečnemu učitelju lahko težko ustvari gradivo za poučevanje te teme brez ustreznih orodij. Uporaba knjižnic strojnega učenja, tudi najbolj uporabniku prijaznih, kot je Keras, za izdelavo aplikacije, s katero lahko učenci komunicirajo, je lahko dolgotrajna in zastrašujoča naloga. Tu bi lahko pomagal Codecraft - ima bogat nabor aplikacij za strojno učenje, ki jih učitelj lahko uporabi za razlago in prikaz konceptov, povezanih z umetno inteligenco. Oglejmo si jih!

1. korak: Pregled razširitev AI

Odprite spletni urejevalnik Codecraft na naslovu

Kliknite na odrski način in nato na gumb za dodajanje razširitve na dnu zavihka za krmarjenje blokov.

Videli boste, da so na voljo tri razširitve AI:

- Kognitivne storitve --- modeli strojnega učenja za obdelavo video posnetkov in zvoka v živo

- Teachable Machine --- se lahko uporablja za usposabljanje klasifikacijskega modela s slikami, posnetimi s fotoaparatom

- Prevajalec --- uporablja strojno učenje za prevajanje

V tem članku se bomo osredotočili na kognitivne storitve in uporabo teh funkcij za nadzor strojne opreme Grove Zero. Brezžična komunikacija med računalnikom in Grove Zero še vedno poteka in članek bom posodobil takoj, ko bo na voljo. Za zdaj bomo za prenos sporočil med modulom Grove Zero in računalnikom uporabljali žično povezavo.

Korak: Igrajte vesoljske vsiljivce s svojim nosom

Za prvo nalogo bomo uporabili samo odrski način brez strojne opreme. Codecraft ima veliko primerov za začetek programiranja - eden od teh primerov je programiranje klasične igre Space Invaders v načinu Codecraft Stage. Ta primer bomo razširili in dodali zmožnost krmiljenja borca v igri z nosom s pomočjo kognitivnih storitev.

Kliknite gumb Primeri. Primer Open SpaceInvaders. Spremeniti moramo le del, ki je pomemben za gibanje. Za to bomo dobili x-položaj nosu na obrazu, zaznanem v video posnetku v živo, ga shranimo v spremenljivo poz. Če je vrednost pos večja od 50, premaknemo vesoljski lovec v desno, če je manjši od -50, premaknemo borec v levo. To je to. Poskusi! Če menite, da je hitrost gibanja lovca prehitra, lahko spremenite x za … blok na manjše število.

Nato bomo to funkcijo razširili za nadzor avtomobila Grove Zero in ga premikali naprej/nazaj/levo/desno.

Korak 3: Nadzirajte avto Grove Zero z Codecraft AI

Začnimo s pisanjem kode v odrskem načinu - to je del, ki je odgovoren za analizo video vira in oddajanje ukazov v Grove Zero.

1) Izvedemo kodo na prvem posnetku zaslona, dokler ne pritisnemo preslednice. Nato pošljemo ukaz stop.

2) Znotraj ponavljanja do bloka preverimo x-poz in y-poz nosu zaznanega obraza in jih shranimo v ustrezne spremenljivke.

3) Če je absolutna vrednost x-pos manjša od 21 (kar pomeni, da je med -20 in 20, torej blizu središča slike), nadaljujemo s preverjanjem y-poz, da ugotovimo, ali naj avto gre naprej ali nazaj

4) Sicer preverimo, ali naj gre avto levo ali desno

Zdaj pa pojdimo na zavihek Naprava in napišite kratko kodo za avto Grove Zero. Uporabili bomo blok Ko prejmem, ki je odgovoren za sprejemanje notranjih ukazov za oddajanje. Ne zamenjujte s Ko radio prejme, ki se uporablja za komunikacijo Bluetooth. Za podrobnosti si oglejte posnetek zaslona, koda je dokaj preprosta.

Povežite sestavljeni avtomobil Grove Zero z računalnikom in pritisnite gumb Connect v Codecraftu. Preklopite na način za odpravljanje napak na spletu - to bo Grove Mainboard -u omogočilo prejemanje ukazov za oddajanje po žici. Nato pojdite v odrski način in pritisnite zastavico. Avto bi se moral zdaj premikati, poskusite ga nadzorovati z nosom:)

4. korak: Sledite vrstici z glasovnim upravljanjem

V avtomobilskem kompletu Grove Zero je zemljevid, ki je prvotno namenjen mini igri Collect the Coins. Lahko ga uporabimo za uporabo prepoznavanja glasu v Codecraftu, da avtomobilu ukaže, na kateri poti naj zavije na križišču.

Del scenskega načina je tukaj manj zapleten kot v prejšnjem primeru. Kar počnemo, je:

1) Ko prejmete oddajno sporočilo, izberite_smer, prepoznajte fragment govora in ga shranite v spremenljivko rezultata.

2) Prepoznavajte, dokler rezultat NI neznan.

3) Primerjajte rezultat z dvema nizoma - "levo" in "desno". Oddajte ustrezno sporočilo avtomobilu Grove Zero.

Koda, ki se izvaja v avtomobilu Grove Zero, je tokrat nekoliko bolj zapletena, v bistvu pa sledi tej logiki:

1) Ob zagonu oddajte sporočilo naprej

2) Ko prejmete sporočilo za naprej, začnite slediti vrstici. Če se linija izgubi, ustavite motor in oddajte

select_direction. Tu se izvede koda v zagonskem načinu.

3) Če je sporočilo prejeto levo, začnite zavijati levo in nato preklopite nazaj v način sledenja vrstici.

Če je sporočilo prejeto desno, začnite zavijati desno in nato preklopite nazaj v način sledenja vrstici.

5. korak: Zakulisje

Modeli nevronskih omrežij, uporabljeni v zgornji aplikaciji, se vsi izvajajo lokalno v vašem brskalniku, kar ima v primerjavi s pošiljanjem podatkov v oblak v obdelavo nekaj prednosti: manjša zakasnitev in boljša zasebnost. V kognitivnih storitvah se uporabljajo številna nevronska omrežja - klasifikacija zvoka za govorne ukaze (, zaznavanje znamenitosti obraza, prepoznavanje izraza obraza in ocena starosti).

V tem članku smo raziskali osnovno funkcionalnost ene od razširitev Codecraft AI - kognitivne storitve. Na teh primerih lahko gradite na več načinov za bolj zabavne in vznemirljive aplikacije!

Če se odločite poskusiti, pa naj bo to z Grove Zero ali pa samo v načinu Stage, delite v spodnjih komentarjih. Za več informacij o seriji Grove Zero, Codecraftu in drugi strojni opremi za izdelovalce in učitelje STEM obiščite našo spletno stran

TinkerGen je ustvaril kampanjo Kickstarter za MARK (Make A Robot Kit), komplet robotov za poučevanje kodiranja, robotike, AI!