Conversations multilingues entre joueurs : parlons du projet D’Box

Imaginez un jeu entre plusieurs utilisateurs, parlant différentes langues. Et imaginez-les jouant sans se soucier des barrières de la langue, parce que l’interface s’en occupe. Maintenant imaginez qu’ils participent tous à la même conversation, entendent la même voix, mais chacune dans leur propre langue, parce que cette voix parle parfaitement plusieurs langues. Nous sommes en train de parler d’interaction multilingue entre joueurs, le cœur du projet D-Box.

L’objectif principal de D-Box est de développer et de tester une architecture innovante pour les agents conversationnels dont le but est de soutenir la collaboration entre des utilisateurs multilingues sur un problème commun dans un environnement interactif.

L’agent interactif permettra de converser par l’écriture et/ou la parole dans la langue native de l’utilisateur : toutes les interactions utilisateur seront transmises par l’agent de D-Box multilingues qui (1) devra gérer et soutenir les interactions de dialogue en fonction de sa compréhension des objectifs de l’utilisateur, et (2) traiter, extraire, transférer des connaissances entre les utilisateurs.

Le projet est porté par Eureka, une initiative de Recherche et Développement intergouvernementale européenne. Le leader du projet est Mi’pu’mi Games GmbH avec pour partenaires Acapela Group, Idiap Research Institute, Koemei SA, Sikom Software GmbH et Universität des Saarlandes.

‘Le domaine du jeu n’a pas encore pris pied dans la dimension vocale et le projet D-Box est une formidable opportunité pour doter les jeux de véritables capacités conversationnelles dans un futur très proche. Nous sommes impatients de voir et d’entendre ce que les développeurs vont concevoir en mettant la conversation au cœur de leur architecture. Nous sommes très enthousiastes de mettre notre expertise au service de ce projet’ commente Lars-Erik Larsson, CEO d’Acapela Group.

Du point de vue de la recherche, ce projet demande de concevoir un agent conversationnel multilingue capable d’interagir avec de multiples utilisateurs parlant différentes langues mais partageant un but commun défini par le jeu. Cela requiert le développement et l’intégration de systèmes de reconnaissance de la parole et de synthèse vocale multilingues, la modélisation de dialogues multilingues.

Du point de vue intégration et évaluation, l’idée et l’innovation clé de ce projet est de développer un framework complétement indépendant de l’application.

D-Box prend en compte l’évolutivité du système, problématique récurrent dans le domaine des systèmes conversationnels, en développant un agent conversationnel facilement portable dans les différentes langues et adaptable aux différents domaines et environnements. Pour garantir la portabilité, le framework développé dans le contexte d’un scénario de jeu sera en parallèle évalué et testé dans un système commercialisé de dialogue basé sur la voix standard.

Le système comprend différents modules: le moteur de dialogue, la reconnaissance de la parole (ASR), le moteur de synthèse de la parole (TTS), le module de communication, la gestion de l’Audio, le client- jeu et le serveur-jeu, tous connectés et communiquant entre eux.

Le projet D-Box sera utilisé dans trois langues : Allemand, Anglais et Français.

Les enjeux de D-Box sont des challenges à fort potentiel applicative. La Recherche est menée par un consortium d’experts totalement impliqués dans le projet.