La vidéo finale de danse est diffusée via un smartphone ou une tablette en réalité augmentée. Cela signifie que l’utilisateur tient son appareil à la main, visualise le décor qui l’entoure à l’aide de la caméra de son appareil, et voit apparaître les danseurs sur cette image filmée en temps réel par sa caméra. Nous devons donc disposer d’une vidéo ne contenant que les corps des danseurs que nous souhaitons incruster à l’image réelle : éliminer tout élément appartenant au décor de la vidéo. Ce processus technique est appelé détourage.
Les différentes techniques de détourage sont décrites précisément dans le dossier technique. Voici, étape par étape, celles que nous avons explorées, puis développées, pour Space Dances.
// Background substraction : la première technique utilisée est celle du background substraction, qui permet de détourer les corps filmés en environnement réel. Cette technique implique une contrainte importante sur les costumes des danseurs, dont les couleurs doivent contraster avec le fond pour être reconnus par le programme.
// Incrustation fond vert : au fur et à mesure de la recherche, nous avons pu concevoir des danses destinées à être captées en intérieur, en-dehors des espaces réels, pour être ensuite placées précisément dans ces espaces. C'est le cas des danses qui ne nécessitent pas de contact physique avec les éléments du décor. Nous avons donc pu utiliser la technique d'incrustation fond vert ou Color Key classiquement exploitée dans le monde du cinéma.
// Approche hybride : Des étapes ultérieures de recherche & développement ont permis à Maxime Touroute, ingénieur en arts visuels, de développer pour le projet un programme avec une approche hybride mixant Intelligence artificielle (détection de corps humains, de visage, processus de segmentation), algorithmes mathématiques (background substraction, détection de mouvement par flot optique) et approches traditionnelles de tournage vidéo (fond vert). Ce programme nous offre une qualité bien meilleure de détourage automatique, et a donné plus de liberté à la création chorégraphique.
// Rotoscopie : Nous utilisons exceptionnellement cette technique de détourage image par image quand notre approche automatique n'a pas pu détourer certains corps. Même si l'intelligence artificielle reconnaît le corps dans de très nombreuses situations, la danse met parfois les corps dans des positions trop étranges pour elle !
