LUMINOUS: Language Augmentation for Humanverse
LUMINOUSek hurrengo belaunaldiko XR sistema eta aplikazioen sorkuntzan laguntzea du helburu, non hizkuntza naturalean oinarritutako komunikazioa eta Hizkuntza Eredu Handiek etorkizuneko elkarrekintza birdefinitzen duten errealitate hedatuaren (XR) teknologia berriarekin eta erabiltzaileen egoeraren ulermena hobetzen duten. ingurunea lehen aldiz aurkitzen diren egoeretan ere.
Helburu nagusia hizkuntzaz areagotutako plataforma multimodal integratua sortzea da, erabiltzaileen behar indibidualetara, aurrez definitu gabea, eta ikusten ez diren inguruneetara egokitzen dena. Horri esker, etorkizuneko XR erabiltzaileek beren ingurunearekin modu errazean elkarreragiteko aukera izango dute, etengabe eguneratzen diren jakintza-iturri global zein domeinu espezifikoetara berehalako atzipena izan dezaten zeregin berriak betetzeko. Gaitasun horiek pentsaezinezko eragina izango dute etorkizuneko urrutiko ikaskuntzan, prestakuntzan, entretenimenduan edo urruneko osasun zerbitzuen hornikuntzan. Norabide horretan, Hizkuntza Eredu Handiak (LLM) ustiatu nahi ditugu ikusten ez diren egoeren eta objektuen gainean orokortzeko modu eraginkorrean, XR osagai berriek lagundutako komunikazio-bide eraginkorrekin. LLMk orakulu baten moduan jokatzen du erabiltzaileen eskariaren arabera zeregin berriak deskribatzeko. Ondoren, hitz bidezko interfaze baten bidez edo Avatar baten bidez (adibidez, entrenatzailea/irakaslea) jakinarazten dira, zeregina betetzeko hainbat ikus-laguntza eta prozedura-urratsen arabera. LLM-ek paraleloki etekina ateratzen dute beren prestakuntza-datuen parte ez ziren objektu berriak identifikatzen eta, ondoren, deskribatzen dituzte bisualki antzeman daitezkeen moduan. Gure ingurune kognitiboaren bidez, avatar birtualek erraztuko dute
Komunikazio orokortua eta egoeraz jabetua erabilera anitzetan eta sektore ezberdinetan, hala nola osasuna (errehabilitazioan eta urritasuna duten pertsonen laguntzan zentratu), murgiltze-ikaskuntza, diseinuaren berrikuspena entretenimendurako balizko luzapenekin eta kirola.
Deskribapena (en):
LUMINOUS aims to contribute towards the creation of the next generation of Language Augmented XR systems and applications, where natural language-based communication and Large Language Models redefine the future interaction with novel extended reality (XR) technology and enhances understanding of the users’ situation and environment even in situations that are encountered for the first time.
The main objective is to create an integrated language-augmented multimodal platform that adapts to individual, not predefined user needs and unseen environments. This will enable future XR users to interact fluently with their environment while having instant access to constantly updated global as well as domain-specific knowledge sources to accomplish novel tasks. Such capabilities can have an unimaginable impact on future distance learning, training, entertainment, or provision of remote health services. In this direction, we aim to exploit Large Language Models (LLMs) for efficient generalisation over unseen situations and objects with effective means of communication supported by novel XR components. The LLM, in our vision, behaves like an oracle for describing novel tasks on user demand. These are then communicated through a speech interface and/or through an Avatar (e.g., Coach/Teacher) in terms of different visual aids and procedural steps for the accomplishment of the task. LLMs benefit in parallel in identifying new objects that were not part of their training data and then describing them in a way that they become visually recognizable. Through our cognitive environment, virtual avatars will facilitate
generalisable and situation-aware communication in multiple use cases and different sectors such as health (focus on rehabilitation and support of people with impairments), immersive learning, design reviewing with possible extensions to entertainment, and sport.
Kode ofiziala:
HE-CL4-DIGITAL23/02 (101135724)
Ikertzaile nagusia:
Didier Striker
Erakundea:
European Commission
Saila:
DFKI
Hasiera data:
2024/01/01
Bukaera data:
2026/12/31
Taldeko ikertzaile nagusia:
Oier López de Lacalle
Besteak:
DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE INTELLIGENZ GMBH - DFKI; LUDUS TECH SL; MINDESK SOCIETA A RESPONSABILITA LIMITATA; FRAUNHOFER GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG EV - Fraunhofer; FUNDACION CENTRO DE TECNOLOGIAS DE INTERACCION VISUAL Y COMUNICACIONES VICOMTECH - VICOM; UNIVERSITY COLLEGE DUBLIN, NATIONAL UNIVERSITY OF IRELAND, DUBLIN - NUID UCD; HYPERCLIQ IKE - HYPERCLIQ; RICOH INTERNATIONAL BV
Kontratua:
No
Webgunea:
http://