607d25_2421ca900d2f40c2863b7c4c92755d90~
SD_SNA#1_LiseBois.jpg
DSC_5567.JPG
DSC_5552.JPG
39BFD871-0F99-48BE-A195-7A7A01B97FE0_1_1
spacedances-photo1-subs-1902-1920x1280.j
DSC_5383.JPG
DSC_5570.JPG
DSC_5553.JPG
 

L'ÉCOSYSTÈME DE CRÉATION CHORÉGRAPHIQUE EN AR ET MR

De 2018 à 2020, la compagnie a développé un écosystème pour la création chorégraphique, visuelle et sonore en réalité augmentée et mixte. Il se compose de :

  • la compagnie Natacha Paquignon : conception de l'écosystème et des projets, création chorégraphique, visuelle, sonore ;

  • le vidéaste et ingénieur Maxime Touroute : création visuelle et développement d'un système de post-production vidéo reposant sur la création d'un programme de détourage automatique des corps ;

  • la société MuseoPic et son cofondateur, ingénieur et designer d'expériences Amaury Belin : développement de l'application mobile de réalité augmentée par laquelle le public a accès à l'œuvre.

Cet écosystème implique des principes pour la création artistique, des protocoles techniques, des solutions technologiques.

RÉALITÉ AUGMENTÉE / RÉALITÉ MIXTE

La réalité augmentée, c’est d’abord la réalité. Le monde physique dans lequel nous sommes. À cet environnement réel viennent se superposer, dans un écran, des éléments virtuels, ou immatériels, qui augmentent la réalité. Ici ce sont des corps dansants, des danseurs bien réels. Ils ne sont pas là physiquement, mais ils sont là en puissance, en attente d’une actualisation par le public, qui devient une sorte de magicien du réel : il déclenche l’irruption de danseurs dans le monde qui l’entoure. Deux temporalités se superposent alors : le temps présent expérimenté par le public, et le temps de la danse filmé en amont. L’environnement réel, le temps présent, comprennent le paysage dans lequel nous nous trouvons, mais aussi les êtres et objets en présence. Si quelqu’un passe devant l’écran, il sera inclus à l’image.
Nous parlons alors de réalité mixte, qui met en relation les corps physiques et les corps immatériels. Nous menons une recherche particulière pour offrir une expérience chorégraphique de réalité mixte dans le cadre de performances qui associent les corps physiques des danseurs présents dans l’espace à leurs corps immatériels dans l’écran.

En lire plus

PROTOCOLE ARTISTIQUE

// Danser dans des lieux communs

Le dispositif fait surgir des corps dansants dans des espaces inattendus. C’est un concept pour créer des œuvres chorégraphiques pour des lieux communs, patrimoniaux (par exemple les Subsistances) ou publics (une place, une rue, un parc, un quartier, une ville...).

En apparaissant en réalité augmentée dans les espaces, la danse les transforme, leur donne une autre lecture.

// Ecrire la danse pour l’écran : un langage entre danse & cinéma


  • Paradoxes de l’image : entre intimité et distance

Les œuvres créées au sein de l'écosystème sont conçues pour être vues à travers des écrans de tablettes tactiles ou de smartphones. Il y a un certain paradoxe entre la relation intime qui se crée entre des danseurs et un spectateur qui déclenche lui-même la danse par son action, et la distance imposée par l’écran. Natacha Paquignon a développé un langage à la lisière de la chorégraphie et du cinéma.

Tout l’enjeu de l’écriture artistique découle de la rencontre entre le désir de la chorégraphe de développer son propos chorégraphique, et le désir du public d’explorer, de retrouver le plaisir quasi-enfantin de la chasse aux trésors, d’être surpris.

  • Une danse relationnelle

La relation du corps à l’espace est à la base du projet. Les créations parlent de la manière dont les espaces et les corps se transforment mutuellement. L’inspiration peut venir du contact physique entre les corps et les éléments de l’espace, de l’imaginaire ou de la mythologie des espaces.


  • Composition de l’image

Ces corps qui font irruption en réalité augmentée dans le monde réel ont quelque chose de fantomatique. Ils sont comme les esprits des lieux. En parallèle de l’écriture chorégraphique, la composition de l’image nous permet d’introduire des éléments surnaturels pour accentuer les illusions, éveiller la curiosité du public, le surprendre, troubler ses perceptions, le tenir en haleine ou lui offrir un moment de contemplation. Chaque scène est composée selon un story-board conçu par Natacha Paquignon et le vidéaste Maxime Touroute.

  • Des scénarios complexes et riches de contenus

À l’écriture locale des scènes chorégraphiques s’ajoute l’écriture globale du scénario sur l’ensemble du territoire de jeu. Ce scénario implique le public en tant qu’acteur de son propre parcours.

L’interaction entre le spectateur et l’œuvre est au cœur du processus d’écriture scénaristique.

// Les passagers

Le processus de création est un concept inclusif. En fonction des projets, la contribution du public peut se faire à plusieurs niveaux : documentation sur le territoire, écriture et enregistrement de textes pour une participation sonore, participation dansée. Les passagers sont des personnes qui viennent habiter corporellement un espace dans l’œuvre en réalité augmentée et/ou dans la performance. Ils peuvent être une simple présence, ou danser.

En lire plus

BASE TECHNIQUE ET TECHNOLOGIQUE

// Application mobile de réalité augmentée

MuseoPic a développé une application mobile de réalité augmentée qui répond à plusieurs enjeux :

  • reconnaissance visuelle et ancrage dans la réalité : les éléments virtuels que nous affichons doivent s’ancrer dans la réalité, et se positionner de façon pertinente à côté d’objets réels. Nous exploitons pour cela diverses technologies de reconnaissance visuelle qui permettent de détecter ces objets, comprendre leur position, et positionner par rapport à ceux-ci des éléments virtuels ;

  • diffuser la danse en réalité augmentée : au centre de notre dispositif, on trouve un ensemble de vidéo, situées avec précision dans l’espace, et permettant à l’utilisateur de revivre une danse écrite pour le lieu où il se trouve.

  • guider le spectateur : le spectateur doit explorer le territoire de jeu, se transformer en explorateur pour trouver les danses en réalité augmentée. Nous utilisons une panoplie de procédés interactifs complexes pour que le spectateur / visiteur soit localisé en permanence sur le territoire.

  • déclencher la scène chorégraphique ou sonore : une fois arrivé dans l’espace de jeu, le spectateur voit apparaître devant lui un ou plusieurs boutons. En cliquant sur l’un de ces boutons, il déclenche la scène.

// Post-production vidéo

Maxime Touroute a développé le programme Deep Roto pour le détourage automatique des corps des danseurs.

Pour apparaître en réalité augmentée dans les espaces réels, les corps des danseurs doivent être détourés : nous devons éliminer tout le décor pour ne conserver que les corps des danseurs.

Certaines vidéos peuvent être tournées sur fond vert : ce sont celles où la danse n’entre pas en contact avec les éléments de l’environnement réel. En revanche, toutes les danses où les corps rencontrent physiquement l’espace doivent être captées dans l’environnement réel. Cette exigence a ouvert un champ de recherche et développement pour trouver une technique de détourage innovante.

Maxime Touroute a développé pour le projet une approche hybride associant intelligence artificielle (détection des corps humains, des visages, processus de segmentation), algorithmes mathématiques (background substraction, détection de mouvement par flot optique) et approches traditionnelles de tournage vidéo (fond vert, fond bleu).

En lire plus

DIFFUSION : UNE NOUVELLE EXPÉRIENCE IMMERSIVE POUR LE PUBLIC

La réalité augmentée est un procédé où un dispositif technique donne l'illusion à un utilisateur que la réalité qui l'entoure incorpore des éléments de nature virtuelle. Ce dispositif se positionne entre l'utilisateur et son environnement. À travers le dispositif, l'utilisateur perçoit sa réalité directe sur laquelle se superpose, de façon naturelle, une dimension virtuelle. Nous souhaitons ici redonner aux outils (smartphone, tablette) leur fonction première de médiateurs entre le spectateur et le monde.

// Expérience en solo : une relation intime à l’œuvre

Casque sur les oreilles pour avoir une expérience sonore optimale, chaque spectateur crée son propre parcours d'un lieu à l'autre, d'une scène à l'autre. La création va chercher du côté du Living Art tel que défini par Florent Aziosmanoff : des œuvres qui créent une relation sensible à leur environnement, en particulier au public. Le spectateur a la sensation que la danse s'adresse spécifiquement à lui. Les danseurs le regardent, se détournent de lui, jouent avec ses perceptions. Il y a quelque chose de ludique dans cette expérience artistique.

Mais si l'écriture emprunte certains principes du jeu, il n'y a ici rien d'autre à gagner que l'expérience artistique, l'émerveillement, le questionnement, le trouble peut-être.



// Une expérience collective de réalité mixte pour l’inauguration

La compagnie est une compagnie de danse, elle a besoin des temps de rencontre physique avec le public. Pour l’inauguration de l’œuvre dans un territoire, ou dans le cadre d'événements divers, elle propose une performance chorégraphique déambulatoire. Cette fois, le public est guidé à travers les lieux par les danseurs et leurs complices. La performance explore la réalité mixte : les danseurs physiques dansent avec leur double immatériel. Elle est interprétée par les danseurs de la compagnie et les passagers.

En lire plus

ECOSYSTEM FOR CHOREOGRAPHIC CREATIVE WORK IN AR

From 2018 to 2020, the company has developed an ecosystem for choreographic, visual and auditive creative work in augmented and mixed reality. It consists of :

  • the Compagnie Natacha Paquignon : ecosystem and projects conception, choreographic, visual and auditive creation

  • the videomaker and engineer Maxime Touroute : visual creation and development of a video post-production system based on a program for automatic clipping of the dancing bodies

  • MuseoPic and its co-founder, engineer and Experience Designer Amaury Belin : development of the augmented reality app.

This ecosystem implies principles for artistic creation, technical protocol, technological solutions.

AUGMENTED REALITY / MIXED REALITY

In Augmented Reality, reality comes first : our physical world. Appearing in a screen, virtual or immaterial elements, are placed on top of this real environment. Here, these elements are dancing bodies. These dancers are not physically there, but they are potentially here, waiting for the public to make them appear. The public becomes a magician : they trigger the display of dancers in the world around them.
Two temporalities are then superimposed : the present time experimented by the public, and the time of the dance, filmed beforehand.
The real environment and present time comprise the landscape, but also people and objects. If someone passes in front of the screen, they will be included in the image. We speak of mixed reality, when physical and immaterial bodies connect.
We conduct a specific research to offer a specific mixed reality choreographic experience during performances relating the physical bodies of the dancers and their immaterial bodies in the augmented reality work.

ARTISTIC PROTOCOL

// Dancing in common places


The device makes dancing bodies pop up in unexpected places. It is deseigned to create choreographic works for public and common places. Dance transforms the spaces.

// Writing dance for the screen : creating a language between dance and motion-picture

  • An image paradox : intimacy vs distance

The works created within the ecosystem are designed to be seen through tablet ou smartphone screens. There is a paradox between the intimate relationship created between the dancers and the audience, and the distance generated by the screen.

Natacha Paquignon has developed a language between dance and movie writing. The issue here comes from the encounter between her desire for expressing her choreographic purpose and the audience's desire for exploring the space and resiscover the near-childish pleasure for treasure-hunt and surprises.

  • A relational dance

The relationship between body and space forms the basis of the project. The works speak about how bodies and spaces can transform each other.


  • Picture composing

These bodies that burst into the real world in augmented reality are somewhat ghost-like images, as if they were the spirits of the places. In addition to the choreographic writing, we can insert supernatural elements to increase the illusion, arouse the public's curiosity, surprise them, disorient their perceptions, keep them involved or let them have a moment of contemplation.

Each scene follows a storyboard composed by Natacha Paquignon and Maxime Touroute.

  • Complex and rich scenarios

The local writing of the choreographic scenes is enriched by the global writing of the scenario on the whole playing field. The audience are involved as actors of their own journey. Interaction between the audience and the work is at the center of the scenario writing process.

  • The passengers

The creative process is inclusive. According to the projects, the public can engage in different ways : territory documentation, text writing and recording (sound creation), dancing.

Passengers are people who occupy a space in the augmented reality work and/or in the live performance. Their body can merely be present, or they can dance.

TECHNICAL AND TECHNOLOGICAL BASIS

The creative work is based on the development of technical and technological solutions in two fields : the application of augmented reality, and video editing.

// Augmented Reality mobile App

MuseoPic developed an Augmented Reality mobile App that responds to various challenges :

  • visual recognition and position in the real world

  • disseminate dance in augmented reality

  • guiding the public throuhout the playing field

  • trigger the choreographic or auditory scene


// Video editing

Maxime Touroute developed the Deep Roto program to automatically extract the dancers' bodies.

To appear in augmented reality, we must remove the background of the video to keep only the dancers. Some dances can be shot on a green background. But the scenes where the dancers are in contact with the physical elements of the space must be shot in the real environment.

Maxime Touroute invested in research and development to create an innovative technicological hybrid approach that combines artificial intelligence, mathematical algorithms, and traditional approaches of green background capture.

DISSEMINATION : A NEW IMMERSIVE EXPERIENCE FOR THE PUBLIC

In Augmented Reality, a technological device gives the user the illusion that reality around him or her includes virtual elements.

Our goal is to use our everyday tools like smartphones or tablets as mediators between us and the world.

// solo experiment : a intimate relationship to the work

Headphones on, the audience create their own journey from a place to the other. Their get the feeling that the dance is made specifically for them.

// a collective experience of mixed reality for the launch of the work

When an artistic work derived from the ecosystem is launched in a territory, we create a live choreographic moving performance. The audience is guided by the dancers and passengers.