DeepKnowledge: Deep Language Models for Understanding and Reasoning with Multilingual Content

Siendo el lenguaje humano el sistema más eficiente para el intercambio de información, el Procesamiento del Lenguaje Natural (PLN) es una de las tecnologías más importantes para abordar la transformación digital en la que estamos inmersos. Comprender el lenguaje es crucial para el éxito de las aplicaciones de análisis de texto y acceso a la información. En los últimos años, la comunidad de PLN está contribuyendo al surgimiento de nuevas y poderosas técnicas y herramientas de aprendizaje profundo que están revolucionando el enfoque de las tareas de la tecnología del lenguaje (TL). El PLN se está moviendo de una metodología en la que una cadena de múltiples módulos era la forma típica de implementar soluciones de PLN, a arquitecturas basadas en redes neuronales complejas entrenadas con grandes cantidades de datos de texto. Gracias a estos avances recientes, la comunidad de PLN está actualmente involucrada en un cambio de paradigma con la producción y explotación de grandes modelos de lenguaje basados en Transformers. Como resultado, la industria ha comenzado a implantar grandes modelos de lenguaje neuronales en producción. En comparación con trabajos anteriores, los resultados están mejorando tanto que los sistemas obtienen un rendimiento a nivel humano en conjuntos de datos de laboratorio cuando realizan pruebas en algunas tareas complejas de comprensión del lenguaje. En cualquier caso, a pesar de sus grandes capacidades, estos modelos de lenguaje previamente entrenados presentan serios inconvenientes. Actualmente no tenemos una comprensión clara de cómo funcionan, cuándo fallan y qué propiedades emergentes pueden presentar, o qué formas novedosas de explotar estos modelos pueden ayudar a mejorar el estado del arte en la PLN. Es importante comprender las limitaciones de los grandes modelos de lenguaje previamente entrenados. Este cambio de paradigma significa que acabamos de empezar a rascar la superficie de las nuevas posibilidades que ofrecen estos grandes modelos de lenguaje previamente entrenados. DeepKnowledge entrenará modelos de lenguaje para los idiomas oficiales e inglés de tal forma que puedan ser aplicados mediante técnicas novedosas que permitan extraer un conocimiento más preciso y generalizable.