Régie, captation, mise en scène… Quand l’informatique s’invite au théâtre

Cet article est publié en collaboration avec Binaire, le blog pour comprendre les enjeux du numérique.

Rémi Ronfard a travaillé plusieurs années au centre Watson d’IBM Research à Yorktown Heights et à la direction de la recherche de l’Institut National de l’Audiovisuel (INA), avant de rejoindre Inria. Il est spécialiste de la modélisation géométrique, d’animation 3D, de vision par ordinateur, et d’informatique théâtrale. Il s’intéresse à la création et mise en scène de mondes virtuels narratifs. Il a fondé et anime les journées d’informatique théâtrale.

Binaire : Peux-tu nous raconter ton parcours, et comment tu t’es intéressé à ce domaine à la frontière de l’informatique et des arts vivants ?

Rémi Ronfard : J’ai suivi des études d’ingénieur à l’École des Mines. Il n’y avait pas d’informatique dans la formation à l’époque. J’ai découvert l’informatique après mes études en réalisant une thèse en télédétection. J’ai commencé alors à me sentir informaticien même si ma thèse tenait surtout du traitement du signal. Pendant 10 ans, j’ai travaillé ensuite pour la R&D dans l’industrie par exemple au centre Watson d’IBM, et à l’INA. Je suis devenu chercheur à Inria à 40 ans. Ce n’est pas un parcours standard !

C’est par hasard que je me suis intéressé au théâtre. En 1996, j’ai rencontré au Medialab du MIT Claudio Pinhanez (de IBM Research, Brésil) inventeur de l’expression Computer theater que je traduis comme « informatique théâtrale ». Son questionnement d’alors : peut-on faire avec l’informatique ce que l’on a fait pour la musique avec l’informatique musicale ? Il décrivait le théâtre comme essentiellement une série d’actions ; cela résonnait bien avec mon domaine de recherche à l’INA sur l’indexation audiovisuelle. Cela me conduisait à la question : comment reconnaître et représenter symboliquement des actions théâtrales ? Cette idée a commencé alors à me trotter dans la tête mais je n’ai pas imaginé en faire mon sujet de recherche principal. Quand je suis rentré à Inria des années plus tard, j’ai pu revenir sur ce sujet.

Binaire : Pourrais-tu nous dire comment tu définis toi-même l’informatique théâtrale ?

RR : Oh là là. Pour moi, l’informatique théâtrale doit rester très ouverte. Je ne veux pas l’enfermer dans des définitions. Regardez l’informatique musicale. Elle s’est construite au-delà des distinctions entre musique et son. Je ne veux pas que des tentatives de définition ferment la discipline. Une difficulté avec le théâtre c’est que dès qu’on change un truc, ce n’est plus du théâtre : un film, ce n’est plus du théâtre, même une pièce filmée pour beaucoup ce n’est plus du théâtre. En musique, si on change les instruments, cela reste de la musique.

Binaire : On va insister. Peux-tu quand même essayer de définir l’informatique théâtrale ?

RR : On peut y voir deux aspects essentiels. Du point de vue de l’artiste, c’est d’abord, des pièces de théâtre qui utilisent l’informatique dans leur création ou leur diffusion, avec l’idée que le résultat se distingue de ce qui aurait été fait sans informatique. D’un autre côté, avec un regard d’informaticien, l’informatique théâtrale regroupe tout ce qu’on peut faire au service du théâtre avec des machines, des algorithmes ou des langages qui traitent du théâtre.

Techniquement, mon travail personnel s’inscrit dans le cadre de l’informatique graphique. En général, dans ce domaine, on modélise en trois dimensions pour produire des images en deux dimensions. Avec l’informatique théâtrale, on s’intéresse à un déploiement dans les trois dimensions et dans le temps.

Binaire : Des algorithmes au service du théâtre. C’est passionnant ! Pourrais-tu nous donner un exemple ?

RR : Aujourd’hui, cela tourne beaucoup autour de l’automatisation de la régie théâtrale. En régie, pour accompagner un spectacle, on dispose d’une liste de repères, avec des évènements comme certains endroits du texte ou un geste d’un acteur qui servent de déclencheurs à d’autres évènements, par exemple lancer une lumière ou une chanson. Il faut suivre cette « liste d’évènements ». On pourrait imaginer automatiser cela. Il faut bien reconnaître que cela reste encore balbutiant ; cela se fait seulement dans des conditions expérimentales. C’est d’abord pour des raisons de fiabilité. On ne peut pas planter un spectacle devant une salle remplie de spectateurs parce qu’un programme informatique beugue.

Binaire : Le script d’une représentation théâtrale, c’est comme une partition musicale ? Peut-on imaginer décrire formellement une mise en scène ?

RR : C’est très proche d’une partition. Mais pour le théâtre, il n’existe pas de notation universelle : chaque metteur en scène, chaque régisseur, utilise ses propres notations.

Développer une telle notation est un défi considérable, un sujet un peu tabou. Il y a une résistance culturelle, les créateurs considèrent qu’ils font de l’alchimie et que leur travail ne doit pas être codé. Mais il existe aussi une tradition de « transcription de la mise en scène », pour des questions de transmission. J’aimerais bien regarder cela sérieusement. Malheureusement pour ceux qui veulent faire des recherches sur ces sujets, ces documents ne sont pas faciles à trouver.

Binaire : Est-ce qu’on pourrait imaginer une IA qui réaliserait la transcription d’une mise en scène ?

RR : J’aimerais beaucoup construire une telle IA. Mais ce n’est pas facile, car elle devrait être d’une certaine façon assez générale : intégrer des techniques de vision, de reconnaissance vocale, de traitement de la parole, de compréhension des mouvements, de la prosodie… Il lui faudrait s’appuyer sur une notation. Quelle notation ? À vrai dire c’est une de mes ambitions à long terme. Une difficulté pour une telle IA est de savoir où on s’arrête, de distinguer entre ce qui est important et ce qui ne l’est pas dans une mise en scène. Si à un moment donné, un acteur lève le petit doigt, est-ce un hasard, ou est-ce que cela fait partie de la mise en scène ?

Binaire : Est-ce qu’on pourrait entraîner une IA sur des millions d’enregistrements de mises en scène pour apprendre cela ?

RR : Je n’y crois pas du tout avec les IA actuelles. Cela demande une forme de compréhension globale de trop d’aspects distincts. On pourrait déjà regarder ce qu’on peut faire avec une dizaine de mises en scène différentes d’une même pièce ; on peut trouver cela pour des auteurs très populaires comme Marivaux.

Mais… est-ce qu’il faut viser un tel but ? Ce n’est pas évident. J’imagine plutôt que la technologie assiste le metteur en scène, l’aide à donner des indications sur sa mise en scène, à transcrire la mise en scène. De telles transcriptions seraient utiles pour garder des traces patrimoniales, une forme de dépôt légal.

Binaire : Ces aspects patrimoniaux nous conduisent naturellement à ton outil KinoAi ? Mais d’abord, comment ça se prononce ?

RR : On dit Kino-Aïe. Le nom est un clin d’œil à un mouvement important de l’histoire du cinéma. Nous l’avons développé dans le cadre d’une thèse en partenariat avec le théâtre des Célestins à Lyon. La directrice du théâtre voulait enrichir leur site avec des vidéos de répétitions. Mais pour cela, il fallait les filmer, ce qui demande beaucoup d’efforts et coûte cher. Comment arriver à le faire sans les moyens considérables d’une grosse équipe de télévision ?

Notre solution part d’une captation avec une seule caméra fixe de l’ensemble de la scène. Puis, des algorithmes détectent les acteurs, déterminent leurs positions, les identifient et les recadrent. Pour cela, on utilise des techniques existantes de détection des mouvements et des poses du corps. Notre logiciel propose des cadrages. La difficulté est qu’un bon cadrage doit capturer complètement un acteur et exclure les acteurs voisins, ou bien les inclure sans les découper. Et puis les acteurs bougent et tout cela doit être réalisé dynamiquement. Enfin, le metteur en scène peut choisir parmi plusieurs cadrages intéressants pour réaliser un film.

Le problème de filmer automatiquement un spectacle est passionnant. On a fait déjà plusieurs courts métrages sur des répétitions de spectacles. Et on continue à travailler sur le sujet, y compris pour la captation du produit final lui-même, le spectacle.

Binaire : Mais pourquoi ne trouve-t-on pas plus les vidéos de spectacles ?

RR : Le problème est d’abord commercial. Si la pièce est visible en ligne, cela incite moins les spectateurs à payer pour aller au théâtre. Pour le théâtre privé, l’obstacle est là. Pour le théâtre public, ceux qui pensent filmer préfèrent carrément réaliser un vrai film. La diffusion vidéo de spectacles s’est un peu développée pendant le Covid. J’espère que cette question reviendra. Pour des questions de préservation de notre patrimoine, on pourrait déjà filmer plus systématiquement les spectacles au moins en caméra fixe.

Binaire : De nos jours, des IA sont utilisées en assistant pour l’écriture, par exemple de scénarios aux USA. Pourrait-on imaginer ça dans l’écriture de pièces de théâtre ?

RR : Cela a déjà été imaginé ; des pièces ont été écrites par des IA et jouées. C’est un peu du buzz ; ça ne m’intéresse pas trop. C’est une drôle d’idée, on se demande pourquoi faire cela. Je trouve beaucoup plus intéressant d’avoir des IA qui aident à la mise en scène de textes écrits par des auteurs humains. C’est peut-être plus difficile, mais tellement plus intéressant !

Par exemple, on peut utiliser de l’intelligence artificielle pour prévisualiser un spectacle qu’on a imaginé. L’auteur peut avoir, avec l’IA, une impression de ce que pourrait donner son texte. Et puis, les roboticiens s’intéressent beaucoup aussi à réaliser des robots qui jouent dans des spectacles.

Binaire : Comment se fait la mayonnaise entre informaticiens et des artistes dans les spectacles ?

RR : J’ai peu d’exemples parce que des formes longues de théâtre utilisant l’informatique sont encore rares. Mais la question se pose déjà quand on engage des projets de recherche sur le sujet. Le dialogue n’est pas toujours facile. Il faut vaincre des résistances. En tant qu’informaticien, on se sent bête quand on parle avec des auteurs parce qu’on plonge dans un monde nouveau pour nous, dont on n’a pas tous les codes. On sort de sa zone de confort. Et certains artistes ont sûrement un sentiment symétrique. Du coup, il y a parfois une certaine timidité. C’est pour ça que j’organise des rencontres annuelles de la communauté en informatique théâtrale.

Binaire : Comment ces travaux pluridisciplinaires se valorisent-ils au niveau académique, surtout pour les doctorants ?

RR : Il faut faire très attention à rester dans une recherche validée par son domaine. L’idéal serait un système de thèses en parallèle en arts du théâtre et en informatique. Chacun reste dans sa discipline mais les deux décident de travailler ensemble. La difficulté est de synchroniser les intérêts, de trouver des sujets intéressants des deux côtés. On peut avoir un sujet super original et passionnant pour le théâtre mais qui ne met en jeu que des techniques standard en informatique. Ou on peut avoir des idées de techniques informatiques super novatrices qui laissent de marbre les gens de théâtre.

Binaire : Comment les artistes s’approprient-ils les nouvelles technologies ?

RR : Les artistes adorent détourner la technologie, faire l’inverse de ce qui était prévu. Ils adorent également en montrer les limites. Pour les informaticiens, ce n’est pas toujours facile à accepter. On s’escrime à faire marcher un truc, et l’artiste insiste sur le seul aspect qui met en évidence l’imperfection ! On voit cela comme une déconsidération du travail de recherche. Mais en même temps, les détournements qu’ils imaginent sont passionnants.

Binaire : Tu observes de leur part une tendance à la technophobie ?

RR : Ce n’est pas du tout de la technophobie, puisque, par nature, les technophobes ne veulent pas travailler avec nous. Les autres nous aiment bien, mais ils gardent un regard hyper critique. Ce n’est pas facile mais cela rend la collaboration intéressante. Ces questionnements sont finalement très sains.

Binaire : Et pour parler d’un autre domaine dans lequel tu as travaillé, quels sont les liens entre le jeu vidéo et l’informatique théâtrale ?

RR : D’un point de vue technique, c’est curieusement assez proche. Je vois quand même une grande différence. En théâtre, on peut expérimenter, alors que dans le domaine du jeu vidéo, c’est difficile et cela représente des efforts de développement énormes. Il y a peu d’industriels du jeu vidéo avec qui on peut mener des expériences. Ils peuvent commander des trucs d’animation par exemple sur des points très techniques, mais ne sont pas du tout dans l’expérience. Le théâtre offre cette possibilité d’expérimenter, de faire de la recherche, parce qu’il est moins industrialisé, plus proche de l’artisanat.

« Le théâtre est-il une industrie » est d’ailleurs l’objet d’une journée qu’on organise dans le cadre du programme de recherche ICCARE.

Binaire : Et le métavers ?

RR : Il existe une pratique du théâtre dans le métavers. Des acteurs ont utilisé le métavers pendant la pandémie avec un public distant, avec des casques de réalité virtuelle. C’est du théâtre distribué, qui apporte aux artistes de théâtre une forme d’ubiquité qui est complètement nouvelle pour eux. Un jour, on peut enregistrer un spectacle, et y assister, voire participer le lendemain n’importe où dans le monde. Pour la musique, ce phénomène est devenu courant, au théâtre, non.

Aujourd’hui le théâtre est matériel et cela nous parait faire partie de son essence. Mais est-ce absolument nécessaire ? Qu’est-ce que ça changerait, si on avait un théâtre immatériel avec une immersion parfaite en réalité virtuelle ? Des risques existent évidemment comme de voir le modèle publicitaire en vogue coloniser ce nouveau théâtre. Mais si on arrive à maîtriser ces risques, le métavers ouvre des perspectives folles dans le domaine des arts et de la culture, bien plus intéressantes à mon avis que ses perspectives commerciales.

Les auteurs ne travaillent pas, ne conseillent pas, ne possèdent pas de parts, ne reçoivent pas de fonds d'une organisation qui pourrait tirer profit de cet article, et n'ont déclaré aucune autre affiliation que leur organisme de recherche.