Un projet de l’Union européenne permet de concevoir un monde virtuel en 3D à partir d’un texte écrit. Il ne servira pas à illustrer les contes pour enfant mais vise le secteur de l’e-learning et des jeux vidéo.

Et si bientôt, les ordinateurs pouvaient comprendre un texte et en tirer automatiquement des personnages, des situations, des actions et des objets, et les présenter dans un monde virtuel en 3D ? C’est la promesse du projet MUSE (Machine Understanding for interactive StorytElling), financé par l’UE, qui veut donner vie aux textes en développant un système innovant pour les traduire en un monde virtuel.

Une première étape avant la commercialisation

Initié il y a un peu plus de deux ans, le projet MUSE sera bientôt achevé et trouvera des applications prochainement dans le secteur de l’éducation et des jeux vidéo. La vidéo ci-dessous illustre une des possibilités d’utilisation de ce système qui permet de transformer en séquence vidéo, les phrases d’un texte. Dans cet exemple, c’est un guide d’accueil du patient à l’hôpital qui a été converti en jeu animé.

Pour son rendu virtuel, MUSE réalise l’analyse sémantique du texte qui lui est soumis. « L’idée est de reconnaître les acteurs, les actions et les objets dans un texte, et de les traduire sous forme visuelle. Il s’agit notamment de la reconnaissance des rôles sémantiques dans les phrases (comme “qui” “fait quoi”, “où”, “quand” et “comment”), les relations spatiales entre les objets (l’emplacement d’un objet ou d’une personne), et la chronologie »explique Marie-Francine Moens de l’université catholique de Louvain, qui coordonne le projet.

Deux entreprises sont actuellement en cours de formalisation de leur partenariat avec le consortium qui développe MUSE. L’une d’elle, Fishing Cactus, est spécialisée dans les jeux. L’objectif est d’utiliser le système pour concevoir plus rapidement des mondes virtuels qui serviront de support à des jeux vidéo. L’autre secteur visé est celui de l’apprentissage : « au lieu de lire ou d’étudier un texte historique plutôt rébarbatif, l’utilisateur pourrait devenir l’un des acteurs d’une scène de signature d’un traité par Napoléon. Un tel environnement faciliterait la compréhension du texte et la mémorisation de son contexte. Le projet MUSE ne va pas encore jusque-là, mais il pose les bases d’un tel système » conclut Marie-Francine Moens.

Sciences et Avenir