Rokavice za pretvarjanje govora/besedila: 5 korakov

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:03

Zamisel/pobuda pri izvajanju tega projekta je bila pomagati ljudem, ki imajo težave pri komunikaciji z govorom in komuniciranju z ročnimi kretnjami ali bolj znano kot ameriški podpisani jezik (ASL). Ta projekt je lahko korak k temu, da se tem ljudem v sodelovalnem okolju omogoči delo z drugimi ljudmi, ki ne razumejo znakovnega jezika. Ta projekt jim bo omogočil tudi javne govore brez uporabe dejanskega človeškega prevajalca. Za začetek sem poskušal odkriti le nekaj lažjih kretenj, kot so abecede A, B, I, itd., Običajnim besedam/pozdravom pa sem dodelil tudi določene kretnje, kot so »Pozdravljeni«, »Dobro jutro« itd.

Korak: Montaža vezja

2. korak: Podrobnosti projekta

Ta projekt vključuje nosljivo rokavico s štirimi senzorji upogibanja, vtaknjenimi/vstavljenimi v rokavico - po ena za male, srednje, kazalce in palec. Senzor Flex ni bil uporabljen za ring Finger zaradi omejitev razpoložljivosti analognih vhodnih zatičev na Arduino Uno R3 in na splošno zaradi pomanjkanja neodvisnega premikanja s prstom v znakovnih jezikih. Uporablja se tudi merilnik pospeška MMA8452Q, ki je pritrjen na hrbtni strani dlani za merjenje orientacije roke. Vhod iz teh senzorjev se analizira in uporabi za zaznavanje geste. Ko zaznate potezo, se ustrezni znak/sporočilo shrani v spremenljivko. Ti znaki in sporočila se povezujejo, dokler ni narejena določena vnaprej določena gesta, ki označuje dokončanje stavka. Ko je zaznana ta posebna gesta, Arduino prek kabla USB pošlje niz shranjenih stavkov na kabel Raspberry Pi. Raspberry Pi nato pošlje prejeti niz storitvi Amazon Cloud Service z imenom Polly, da spremenjeni stavek v besedilni obliki pretvori v obliko govora, nato pa pretočni govor pretoči na zvočnik, povezan z Raspberry Pi, prek kabla AUX.

Ta projekt je bil le dokaz koncepta in z boljšimi deli opreme in načrtovanjem ter bolje umerjen za zaznavanje številnih drugih kretenj in gibov rok. Trenutno je v ta projekt programirana le omejena funkcionalnost, na primer za osnovno zaznavanje kretenj in izpis besedila v govor.

3. korak: Koda

4. korak: Koraki

1. Senzorje upogibanja in merilnik pospeška MMA8452Q priključite na Arduino v skladu s priloženim vezjem.

2. Program Artikel Final_Project.ino (ki se nahaja v datoteki Arduino_code.zip) zapustite v Arduino.

3. Priključite Arduino na Raspberry Pi prek kabla USB. (Vrsta kabla A/B).

4. Vklopite Raspberry Pi, kopirajte datoteko Raspberry_pi_code.zip v Raspberry Pi in jo izvlecite. Zvočnik priključite na Raspberry Pi.

5. Kopirajte poverilnice računa AWS, tj. Aws_access_key_id, aws_secret_access_key in aws_session_token v datoteko ~/.aws/poverilnice. Ta korak je potreben za komunikacijo z oblakom AWS in uporabo storitev AWS.

6. Zaženite program seria_test.py, ki se nahaja v izvlečeni mapi v 4. koraku.

7. Zdaj naredite kretnje, da oblikujete stavek, nato pa naredite posebno kretnjo (Držite prste in dlan naravnost in v liniji z dlanjo obrnjeno stran od vas, nato pa zavrtite zapestje tako, da ga obrnete navzdol tako, da je zdaj vaša dlan je obrnjen proti vam in konica prstov je obrnjena navzdol proti nogam.), da označite zaključek stavka.

8. Nadaljujte s preverjanjem uporabnih informacij na terminalu.

9. In poslušajte pretvoreni govor, ki se pretaka po zvočniku.

5. korak: Reference

1.

2.

3.

4.