Usan Kinect para traducir el lenguaje de signos en tiempo real

Microsoft acaba de anunciar un nuevo proyecto iniciado por Microsoft Research en Asia con el que se pretende ayudar en la comunicación de personas con problemas auditivos y que utilicen el lenguaje de signos.

El proyecto se está llevando a cabo gracias a la colaboración del equipo estadounidense de Microsoft y el Institute of Computing Technology en la Academia china de las Ciencias. Han creado un sistema que utiliza Kinect para realizar el seguimiento de los signos y los puede traducir palabra a palabra o bien una frase completa.

El proceso que sigue este sistema es simple, Kinect for Windows hace un seguimiento de las manos, lo normaliza y lo coteja con una base de datos de las palabras introducidas previamente por lo que finalmente se identifica la palabra y es la que se ofrece en pantalla.

Además de ello, el software tiene dos modos de funcionamiento, uno de traducción, con la que simplemente se realizará un seguimiento de las manos y se presenta en pantalla la traducción.

El segundo modo está pensado para comunicación con la persona, un método útil para videoconferencias o para mantener una conversación si el otro interlocutor no conoce el lenguaje de signos. En este modo se muestra un avatar en 3D que traslada las palabras escritas en signos que puede entender la otra persona.

Más información | Microsoft