Vision 4all - Sistem Visão Assistida Para Deficientes Visuais Usando OpenCV, Dragonboard 410c E Aplikacija Android: 6 korakov

2024 Avtor: John Day | [email protected]. Nazadnje spremenjeno: 2024-01-30 12:03

DESCRIÇÃO

O intuito do projeto é dar autonomia para deficitnes visuais se locomoverem em ambientes v zaprtih prostorih como casas ali v nakupovalnih centrih in letališčih.

A locomoção em ambientes já mapeados pode ou não ser obzirrado um problema bem resovido. Aplikacijo, ki je na voljo v App Store -u za vse, ki so na voljo, je sirva apenas za 3 ambiente in apenas nosil EUA, o vodiču LowViz. Além do limitado número de locais, tal aplicativo não detecta possíveis obstáculos e pessoas que possam estar no caminho do usuário. Assim, a missão deste projeto é, através de visão computacional e processamento de imagem, identificar possíveis obstáculos que possam surgir ao longo do caminho do usuário e poder spomnik o caminho a ser seguido dando nezavisência e empoderando o usu Na prática, o projeto, embora ainda incompleto, consiste em integrar um aplicativo de onde se pode submeter ou desenhar uma planta baixa do local de interesse, seja uma casa ou shopping. Com a placa integrada a uma câmera na cintura do usuário, e um fone de ouvido, o aplicativo calcula a posição no ambiente e permite o usuário definir para onde quer ir e dá comandos de voz para movimentação. A câmera, quando detecta um obstáculo a frente, nastavite spomin na caminho do usuário. Como dizia Hugh Herr: "Nenhum indivíduo é incapaz, o que existe é falta de desenvolvimento tecnológico para capacitar e nos tornar iguais".

Neste projeto usaremos a Dragonboard 410c, porque precisamos de um hardware que tenha capacidade de fazer o processamento de imagens em tempo real (sem ter de contenir com outras aplicações como seria no celular) e ao mesmo tempo seja de baixo custom.

1. korak: Materiali

Para este projeto vamos utilizar:

- uma placa Qualcomm Dragonboard 410c;

- biblioteca de processamento de imagem OpenCV (različica 3.1);

- câmera que se comunique com a placa (usaremos na verdade um celular android com o aplikaciji IP Webcan);

- mobilni sistem Android za uporabo ali uporabo;

2. korak: Instalando OpenCV Na Dragonboard

Com linux instalado na placa, siga os procedimentos padrões para za instalar biblioteca de processamento de imagem - OpenCV - no device. Siga as instruções deste link:

docs.opencv.org/3.0-beta/doc/tutorials/intr…

3. korak: Povežite kamero in zmajevo ploščo

Precisamos conectar a câmera que serão os olhos do deficente com a placa de desenvolvimento Dragonboard 410c. Existem vários jeitos de fazer isso. Dragonboard possui entrada para flatcables, ou seja, é compatível com as câmeras usadas comumente em placas como a Raspberry pi.

Najprej, optomos usar como camera for Moto G 3ª Geração com ali applicativo IP Webcam (disponível on Google Play) que permite que a imagem seja transferida pelo wifi.

Abaixo um program que faz aquisição simples da imagem usando a biblioteca opencv. O povezavi preusmerite, če ne uporabljate nobenega konstruktorja za videoCapture ali IP za mobilno napravo (označeno brez uporabe) + “/videofeed”. Na imagem acima, você encontra onde está o IP do seu celular.

Aquisição pode ser difícil nas versões anteriores a 3.1 da opencv, caso você não tenha conseguido compiler. Se você conectar uma câmera pela entrada de câmeras da dragonboard basta colocar como parâmetro o valor zero ("0"), que means que você quer procurar a camera default.

4. korak: Desenvolver Software De Processamento De Imagens Que Toma Decisões

Há três programas em anexo, o identificadorDeObstáculos.cpp, o MostraContornoWebcam.cpp e o VídeoCadeiraSlavo.cpp (estes dois últimos para teste e entendimento da técnica do programske opreme).

Pojasnilo: A ideia de identificação de obstáculo vem da Determinação dos contornos mais drásticos nas imagens do vídeo, ou seja, o código identifica mudanças drásticas de cores na imagem e zaključek que isso seja um contorno e portanto um najpomembnejši cilj korak). Estando a câmera na barriga do usuário, levemente inclinada para o chão, conforme o usuário se locomove, o programu identifica a existência de um objeto (seja uma pessoa ou uma cadeira por exemplo) e manda o sinal de parada caso o objeto seja encontrado na região especificada (caminho do usuário) (glej imagem do contorno da cadeira - caso o usuário se nahaja približno cadeira haverá pikslov brancos na região verde que determinam condição de parada) Dessa forma, sem a adição de filtros ao tipo de chão, para o funcionamento dessa versão simpleficada, é needário um chão razoavelmente homogêneo, de forma que os detalhes do chão não sejam obzirrados contornos.

Obs é possível ajustar a variaável lowThreshold do código para um valor de 0 (mais sensitivo) e 100 (menos sensitivo ao contorno). O valor sugerido é 60 para chão em geral.

Funkcijamento: o identificadorDeObstáculos.cpp recebe um vídeo da rede wifi através do sparkfun que deve ser um video na um cellar acoplado a barriga do usuário. O código manda condições de parada á um aplicativo de um outro celular que usuário está usando. Idealmente manda-se comandos de voz de parada parada o usuário.

Obs: Altere o código de acordo para especificar de onde os vídeos são recebidos e para qual android as informações são encaminhadas. Os tipos de alterações são especificadas no próprio código (assim como nos programas de teste) komentira no início do programa.

Para sabre mais sobre bordas de Canny e limiarização, além de outros tópicos de visão computacional, priporočamo, da kupite dokumentacijo za uradni OpenCV.

5. korak: Fazer Aplicativo Que Repassa As Informações Para O Deficiente Visual

Para reproduzir este projeto é needário criar um banco de dados no site data.sparkfun.com, o processo é muito intuitivo de forma que não será dada uma explicação mais detahada aqui, mas colocaremos o link do banco que criamos para referência ().

Assim que a Dragonboard reconhece que há um obstáculo a sua frente ela posta em um banco de dados construido no data.sparkfun.com essa informação. O aplicativo faz uma advis a este banco com o auxílio da classe okhttp3 obtendo as informações como um Json. Então fazemos um parser desse json para encontrarmos o último dado enviado. Com esse dado em mãos conseguimos dizer se há um obstáculo no caminho, assim é emitido um sinal de voz para o usuário parar. Se o caminho está livre o aplicativo emite um sinal para prosseguir continuamente.

Seguem em anexo as classes e Interfaces utilizadas para o projeto, que são explicadas a seguir:

GetJson: é izkoristite za fazer um get no banco de dados do data.sparkfun retornando um arquivo em formato json za aplikacijo.

JsonDownloader: é onde geramos uma asynctask para de fato utilizarmos a classe GetJson, importância do uso desta classe é para não travarmos a interface to usuário e para isso precisamos criar uma thread diferente on applicação.

MainActivity: nesta classe implementamos a lógica da aplicação que continuamente consulting o banco de dados, e information o usuário por meio de um audio se ele precisa para ali o nastavljanju caminhando.

RequestListener: je uporabniški vmesnik, ki je uporabljen za uporabo v MainActivity za nekatere značilnosti.

SdmSoundPlayer: esta classe é usada para gerenciar os comandos de voz da aplicação, caso você queira inserir as suas próprias gravações você deve criar uma pasta raw dentro da pasta res e incluir os arquivos de audio lá. Feito isso dentro do método initSoundHash () você deve colocar esses arquivos dentro de mSoundHash que é uma tabela Hash. Para usar este áudio basta usar o método playSound (int key) e passar como parâmetro a chave escolhida para o sinal de voz.

Opozorila: essa classe é utilizada para facilitar o parser do json retornado pelo banco de dados.

Seguem em anexo também os arquivos de voz utilizados.

O postavitvi aplikacije, ki je primerna za uporabo v šoli, je treba opraviti funkcijo prekinitve izvajanja na MainActivity, enostavnejšo formo za uporabo in uporabo brez posvetovanja z banko de dados.

Qualquer dúvida aditional ou sugestão basta entrar em contato com o avtorju. Sugestões são semper bem-vindas =).

O código não está bem comentado, mas acredito que as explicações acima devem ser suficientes para o entendimento do que está acontecendo.

6. korak: Sugestões De Continuação

Poderiamos integrar um system de localaização. Obstajata Qualcomm iZat SDK, ki je na voljo za sistem za lokalizacijo Que ZDA GNSS, acelerômetro, magnetni elektronski vhod, zunanji procesor ali prvi procesor Qualcomm Snapdragon (predstavljen na maioria dos celulares). No entanto, havia pouca documentação e needitava de testes mais demorados.

Também gostariamos de usar um sensor de distância ultrassonico, porém tivemos Problems quanto a comunicação com a Dragonboard, que poderia ser resovido com mais calma. Ti tiver tempo, nabavljen kot bibliotecas já presentes no kit de desenvolvimento, elas possuem diversos exemplos para cada tipo de sensor.

Ni razvijalcev spletnih mest Qualcomm existem fóruns in tutoriais que podem ajudar, e ainda há os osvetujoč da 96Boards no you tube.