Alexa, aprende las señales de personas sordas

En Estados Unidos han creado un programa para interactuar con el asistente Alexa mediante el lenguaje de señas. El aplicativo reconoce los gestos usando la cámara de la PC, los convierte en comandos de voz para el asistente, y luego reconoce las respuestas del asistente y las muestra en la pantalla en forma de texto. El blog prosthetic knowledge escribió sobre ello.

El control por voz es una de las principales formas de comunicarse con una casa inteligente y otros dispositivos. Los asistentes de voz están instalados en casi todos los teléfonos inteligentes modernos, aunque en los últimos años los altavoces inteligentes se han vuelto bastante populares. Abhishek Singh, el desarrollador que ha creado este software que actúa como interprete entre una persona sorda y la asistente de voz Alexa.

El programa se ejecuta en una computadora portátil y utiliza la cámara incorporada para reconocer los gestos del lenguaje de señas. El algoritmo de aprendizaje profundo, realizado con la ayuda de TensorFlow.js, es responsable del reconocimiento. El usuario da comandos en lenguaje de señas, y la computadora portátil reconoce las palabras en tiempo real y las pronuncia con la ayuda del sistema de síntesis de voz, y también lo muestra en la pantalla.

Asimismo, el altavoz escucha y reconoce las palabras de la computadora y después de un corto tiempo responde con una voz, que también se muestra en la pantalla. La interfaz de la aplicación está dividida en dos partes y está diseñada como un diálogo entre el usuario y el asistente de voz: Por ahora el desarrollador planea publicar el código fuente de la aplicación en GitHub.

Recientemente, la compañía Microsoft también creó una aplicación para smartphones que permite a las personas ciegas orientarse de forma independiente por la ciudad. Funciona con auriculares, a través de los cuales el usuario escucha indicaciones sobre los objetos que lo rodean, informa el blog de la compañía.