The vOICe per Android

Realtà aumentata per non vedenti: Vedi con le tue orecchie!

Vedi con le orecchie! The vOICe per Android converte immagini live della telecamera del tuo dispositivo Android in informazioni sonore, offrendo una realtà aumentata per chi è completamente cieco attraverso la sostituzione sensoriale e visione tramite computer. Comprende anche un identificatore di colore parlante, una bussola parlante, un rivelatore di volto e un localizzatore GPS parlante. Microsoft Seeing AI e Google Lookout possono essere richiamati da The vOICe per Android semplicemente toccando il bordo sinistro o destro dello schermo.

È un gioco di realtà aumentata o uno strumento serio? Può essere entrambi, a seconda di cosa vuoi che sia! L'obiettivo finale è quello di fornire una forma di sintesi della visione per ciechi, ma anche utenti vedenti possono semplicemente divertirsi giocando a vedere-senza-vista. Puoi aiutarci anche scrivendo nel nostro blog su come *tu* impari a vedere con il suono. Noi speriamo che gli attesissimi dispositivi Google Glass si riveleranno compatibili con The vOICe per Android. Utilizzando la piccola telecamera in questi occhiali The vOICe potrà generare un suono live in sovrapposizione alla realtà aumentata, senza usare le mani!

Come funziona? The vOICe utilizza toni alti e bassi a seconda dell’altezza e il volume a seconda dalla luminosità delle immagini ottenute in una scansione di qualsiasi vista della durata di un secondo da sinistra a destra: una linea luminosa suonerà con un tono alto, un punto luminoso con un impulso, un rettangolo pieno brillante come un rumore più forte, una griglia verticale come un ritmo. Meglio se si usano le cuffie stereo per ottenere una esperienza più coinvolgente e una risoluzione uditiva più dettagliata.

Inizia a sperimentare semplici modelli visivi, perché le immagini della vita reale producono suoni complessi da capire. Prova a far cadere un oggetto luminoso come un mattoncino DUPLO su un tavolo scuro, e impara a raggiungerlo solo attraverso il suono (chiudendo gli occhi) . Quindi prova ed esplorare il tuo ambiente domestico in modo sicuro, imparando ad associare i pattern sonori complessi con gli oggetti che già sai essere lì.

Per gli utenti seri: imparare a vedere con il suono è come imparare una lingua straniera o imparare a suonare uno strumento musicale, è davvero impegnativo per la vostra perseveranza e per la plasticità del vostro cervello. Può essere un potente sistema di formazione del cervello, collegando i sensi attraverso una sinestesia artificiale.

Perché è gratis? Perché il nostro obiettivo principale è quello di contribuire ad un cambiamento reale abbassando le barriere all’uso il più possibile. Troverete che le tecnologie concorrenti possono costare fino a $ 15.000 nonostante magari abbiano specifiche inferiori. La risoluzione percettiva offerta da The vOICe è ineguagliata anche da impianti retinici da 100 mila dollari, detti anche "occhi bionici" (PLoS ONE 7 (3) : e33136).

Si prega di segnalare bug all’indirizzo email [email protected] (inglese). Visita la pagina web http://www.seeingwithsound.com/android.htm (inglese) per la descrizione dettagliata e avvertenze all’uso.

Grazie!