Du langage corporel au langage textuel, est-il possible d’établir un nouveau type de discussion avec la machine ?
QUESTIONNER NOTRE RAPPORT AUX MACHINES
En fevrier 2020, Le Petit Theatre de Rouyn-Noranda (Quebec,CA) nous accueille pour une residence de creation d’une semaine. En collaboration avec la performeuse Audrey Rochette nous formons avec cinq autres etudiants le collectif éphémère ACK. Nous proposons Hyphen, une installation interactive et sonore qui questionne notre rapport aux machines.
Le concept ? Faire faire dialoguer un corps dansant avec un chatbot. Ce dialogue est un trait d’union entre deux langues : le langage corporel et le langage textuel. En se mouvant dans l’espace, la performeuse va établir un dialogue avec le chatbot, il va traduire ses mouvements en texte. Tour à tour chacun interprète le message de l’autre. Elle lui pose des questions philosophique sur les relations humain-machine. Il lui repond en text-to-speech.
KINECT, IA ET ASSISTANT VIRTUEL
La Kinect capte les mouvements de la danseuse et les transmets vers TouchDesigner pour etre envoyés au ChatBot, puis affiches sur l’ecran. Nous avons choisi l’assistant convertationnel Mitsuku, un des plus « intelligent » et recomppensé par la critique.
Nous avons rediges une vingtaines de phrases correspondant a quatre thematiques inspirantes : le passe, le futur, les relations et le corps. La position dans l’espace va permettre au programme de choisir dans quelle thematique piocher les phrases qu’Audrey delcenchera par mouvement.
Les developpeurs on concu une application Javascipt utilisant la librairie ml5js (basée sur les reseaux de neurores de Tensorflow) pour classifier toutes ces phrases. Nous l’avons entrainé à reconnaitre quelles phrases correspondaient aux mouvements du danseur afin d’etablir une forme de dialogue potentielle.
Quatre trames sonores crees par moi meme accompagnent la performance selon le theme de la discussion. En fonction des gestuelles de la danseuse, les sons changent en temps reel sur Ableton Live, comme pour materialiser le lien etablis entre chaque entité, rendant l’experience plus immersive et troublante que jamais.