SignOn

Deskribapen motza, derrigorrezkoa proiektuak logorik ez badu (eu):

SignON - Sign Language Translation Mobile Application and Open Communications Framework

Deskribapen motza, derrigorrezkoa proiektuak logorik ez badu (en):

SignON - Sign Language Translation Mobile Application and Open Communications Framework

Deskribapena (en):

Nowadays any communication barrier is detrimental to society. This project will research and develop the SignON communication service that uses machine translation to translate between Sign and spoken languages. This service will facilitate the exchange of information among deaf and hard of hearing, and hearing individuals. In this user-centric and community-driven project we will tightly collaborate with European deaf and hard of hearing communities to (re)define use-cases, co-design and co-develop the SignON service and application, assess the quality and validate their acceptance. Our ultimate objective is the fair, unbiased and inclusive spread of information and digital content in European society. Our project will develop a free, open application and framework for conversion between video (capturing and understanding Sign language), audio and text and translation between Sign and spoken languages. To facilitate these tasks we propose a common representation for mapping of video, audio and text into a unified space, that will be used for translating into the target modality and language. To ensure wide uptake, improved sign language detection and synthesis, as well as multilingual speech processing on mobile devices for everyone, we will deploy the SignON service as a smart phone application running on standard modern devices. We envisage the application as a light-weight interface. The SignON framework, however, will be distributed on the cloud where the computationally intensive tasks will be executed.The project will be driven by a focused set of use-cases tailored towards the deaf communities. We target the Irish, British, Dutch, Flemish and Spanish Sign and English, Irish, Dutch, Spanish spoken languages. However, SignON will incorporate sophisticated machine learning capabilities that will allow (i) learning new Sign, written and spoken languages; (ii) style-, domain- and user-adaptation and (iii) automatic error correction, based on user feedback

Deskribapen motza, derrigorrezkoa proiektuak logorik ez badu (es):

SignON - Aplicación móvil de traducción de lenguas de signos y marco de comunicación abierto

Deskribapena (es):

Hoy en día, cualquier barrera de comunicación es perjudicial para la sociedad. Este proyecto investigará y desarrollará el servicio de comunicación SignON, que utiliza la traducción automática para traducir entre las lenguas de signos y las habladas. Este servicio facilitará el intercambio de información entre personas sordas y con problemas de audición, y personas oyentes. En este proyecto centrado en el usuario e impulsado por la comunidad, colaboraremos estrechamente con las comunidades europeas de sordos y con dificultades auditivas para (re)definir los casos de uso, codiseñar y codesarrollar el servicio y la aplicación SignON, evaluar la calidad y validar su aceptación. Nuestro objetivo final es la difusión justa, imparcial e inclusiva de información y contenidos digitales en la sociedad europea. Nuestro proyecto desarrollará una aplicación gratuita y abierta y un marco de trabajo para la conversión entre el vídeo (captura y comprensión de la lengua de signos), el audio y el texto y la traducción entre las lenguas de signos y las habladas. Para facilitar estas tareas, proponemos una representación común para mapear el vídeo, el audio y el texto en un espacio unificado, que se utilizará para traducir a la modalidad y la lengua de destino. Para garantizar una amplia aceptación, una mejor detección y síntesis de la lengua de signos, así como el procesamiento del habla multilingüe en dispositivos móviles para todo el mundo, desplegaremos el servicio SignON como una aplicación para teléfonos inteligentes que se ejecutará en dispositivos modernos estándar. Prevemos que la aplicación sea una interfaz ligera. Sin embargo, el marco de SignON se distribuirá en la nube, donde se ejecutarán las tareas de cálculo intensivo. Nos centramos en las lenguas de signos irlandesa, británica, holandesa, flamenca y española y en las lenguas habladas inglesa, irlandesa, holandesa y española. Sin embargo, SignON incorporará sofisticadas capacidades de aprendizaje automático que permitirán (i) el aprendizaje de nuevas lenguas de signos, escritas y habladas; (ii) la adaptación al estilo, al dominio y al usuario, y (iii) la corrección automática de errores, basada en los comentarios de los usuarios.

Deskribapen motza, derrigorrezkoa proiektuak logorik ez badu (fr):

SignON - Sign Language Translation Mobile Application and Open Communications Framework

Kode ofiziala:

Grant Agreement 101017255

Ikertzaile nagusia:

Andrew Way

Erakundea:

European Commission

Hasiera data:

2021/01/01

Bukaera data:

2023/12/31