Le papier interactif pour la composition musicale
Les éléments présentés sur cette page proviennent de mes travaux de doctorat réalisés dans l'équipe in|situ| du LRI et dans l'équipe Représentations Musicales de l'IRCAM. Il est possible de retrouver les publications liées à ce travail sur ma page personnelle.
Introduction
La composition musicale contemporaine est une activité très créative qui requiert la libre expression des idées et des compétences de programmation informatique. Pendant le processus de composition, les compositeurs ont besoin d'exprimer leurs idées, de les explorer et de produire des partitions finales. Toutes ces tâches impliquent généralement une combinaison d'écriture sur papier, de jeu instrumental, que ce soit physique ou numérique et une interaction avec des logiciels de composition assistée par ordinateur. Ma thèse sʼintéresse à la compréhension de ce processus complexe afin de concevoir de nouveaux outils interactifs adaptés aux besoins créatifs des compositeurs.
Le papier joue un rôle spécifique dans le processus de composition. Il sʼagit souvent dʼun point de départ pour réaliser les premières esquisses mais cʼest aussi le support de la finalisation du travail avec la réalisation de partitions finales. Les compositeurs utilisent une grande diversité de représentations musicales adaptées à leurs besoins musicaux et les formes de notations sont souvent personnelles lors des premières étapes du processus de composition.
Dʼautre part, depuis les années cinquante, les compositeurs utilisent des logiciels pour analyser des fichiers sonores, créer de nouveaux sons de synthèse ou produire des partitions à partir de programmes. Parmi les logiciels existants, les compositeurs utilisent fréquemment des outils de programmation visuelle tels que Max et OpenMusic pour réaliser et tester leurs processus de composition musicale. Des travaux précédents montrent que malgré la variété de logiciels à leur disposition, les compositeurs continuent dʼutiliser le papier pour exprimer et explorer leurs idées musicales à différentes étapes de leur processus de création (Letondal et al. 2007). Les esquisses réalisées sur le papier aident les compositeurs à éviter une finalisation prématurée des idées et donc à continuer lʼexploration de leurs idées (Healey et al. 2007). Pourtant cette liberté dʼexpression se révèle problématique lorsquʼun compositeur utilise un logiciel de composition assistée par ordinateur car il y a un changement drastique de format et dʼinterface entre les deux pratiques.
La technologie de papier interactif permet de récupérer les données dʼécriture du stylo et créée de nouvelles possibilités pour faciliter la transition entre les mondes physiques et numériques en combinant explicitement leurs avantages. Depuis le Digital Desk introduit par Wellner en 1993 (Wellner 1993), un projet précurseur pour les interfaces de papier augmenté, des nombreux projets de recherche ont étudiés l'utilisation de la technologie de papier interactif en soutien à la lecture active et à lʼannotation de documents, la composition musicale avec la reconnaissance de vocabulaires de gestes personnels (Tsandilas et al. 2009) ou encore lʼédition de modèles 3D (Song et al. 2011). Alors que plusieurs modèles, techniques et outils ont été créés pour les interfaces basées sur lʼinteraction avec un stylo, seuls quelques-uns sʼintéressent à lʼaide à la créativité. Nous avons donc encore besoin de modèles et dʼoutils adaptés à la complexité de la composition musicale afin dʼaider les compositeurs à concevoir et évaluer leurs concepts musicaux.
Ce travail s’intéresse au papier interactif, une technologie permettant de récupérer les gestes d’écritures effectués sur le papier afin de créer de nouvelles possibilités pour la composition en combinant l'expression et l'exploration sur le papier tout en profitant de la puissance de calcul des outils de composition assistée par ordinateur.
Contexte et travaux existants
Plusieurs travaux se sont intéressés aux interfaces permettant de dessiner la musique en utilisant une souris ou une tablette graphique (l’UPIC, une interface crée par Xenakis permettant de dessiner dans l’espace temps fréquence avec un stylet est un bon exemple) tandis que d'autres ont développé des outils pour ajouter possibilités complexes de notation musicale dans les logiciels. Au lieu d'essayer de remplacer un medium par un autre, le papier interactif permet dʼassocier les outils informatiques avec des interfaces sur le papier. Lʼobjectif principal est de réutiliser les pratiques existantes avec les stylos et le papier afin d'améliorer l'interaction avec les environnements de composition assistée par ordinateur.
La technologie Anoto
Pour créer du papier interactif, une technologie populaire est la technologie Anoto, qui associe une trame de point imprimée sur le papier avec un stylo intégrant une caméra dans la pointe. Lʼacquisition vidéo par le stylo lui permet de se repérer sur une trame très grande subdivisée en pages et cahiers. Cette technologie est utilisée par de nombreux projets de recherche car elle est mobile, peu chère et robuste. Plus d'informations et d'explications sont disponible sur cette page.
Le papier interactif crée de nouvelles opportunités pour soutenir le travail des compositeurs, grâce à la détection du contenu écrit sur le papier, son interprétation et la production de données pour contrôler des dispositifs informatiques. Toutefois, nous avons encore besoin d'explorer avec des compositeurs comment combiner les représentations personnelles qu'ils créent et utilisent sur le papier avec les outils de programmation offerts par les environnements de composition assistée par ordinateur.
Etudes : Expression et exploration dʼidées musicales avec le papier et lʼordinateur
Trois études conduites avec des compositeurs à lʼIRCAM sʼintéressent aux rôles du papier et de lʼordinateur lors du processus de composition et les possibilités du papier interactif pour lʼexploration des idées entre ces deux supports.
Nous avons étudié comment les compositeurs professionnels combinent des outils papier et logiciel et la façon dont ils pourraient bénéficier de la technologie de papier interactif. Les premiers entretiens avec quatre compositeurs nous ont aidés à comprendre leurs processus de composition, de l'expression précoce des idées à leur exploration systématique et à la réalisation finale sous forme de programmes et de partitions. Nous avons constaté que les compositeurs font des allers retours entre le papier et les logiciels pour réaliser leurs partitions finales et leurs programmes musicaux. Ces activités ont lieu en parallèle mais les compositeurs aimeraient mieux les intégrer. En particulier, quand ils passent à l'exploration avec l'ordinateur, ils réduisent progressivement leur utilisation de représentations personnelles sur le papier, y compris les plus formelles. La Figure suivante illustre ce processus.
La deuxième étude avec un compositeur a étudié les possibilités du papier interactif pour soutenir ses explorations successives d'idées musicales. Nous avons réalisé plusieurs prototypes pour son travail de composition sur une pièce pour saxophone et électronique. Nous avons constaté que même si l'interaction en direct avec le stylo n'est pas recommandée pour les premières phases d'expression, cela sʼavère beaucoup plus intéressant pour lʼexploration des idées via l'enregistrement et la lecture de sons depuis le stylo ou lʼinteraction avec des éléments dessinés pour les évaluer et les modifier.
La troisième étude utilise InkSplorer, un outil de composition qui permet de lier les courbes dessinées sur le papier à des objets dans Max et OpenMusic pour faciliter lʼexploration, les tests et le raffinement des idées. Nous avons déployé InkSplorer comme sonde technologie (Hutchinson et al. 2003) lors d'une évaluation exploratoire avec quatre compositeurs pour mieux comprendre leur processus de création, les possibilités de cette technologie et pour générer de nouvelles ressources pour la conception. Chaque compositeur a adapté InkSplorer à son propre style de composition. Leurs tracés sur papier ont servis comme des éléments visuels et informatiques qui pouvaient être rapidement revisités, relus et évalués avec de nouvelles variations ou par couches successives. Tous les compositeurs ont manifesté un intérêt pour utiliser des modèles préimprimés sur le papier comme des portées ou du papier millimétré.
Il apparaît nécessaire de créer des interfaces de papier intégrant les données musicales personnelles des compositeurs. Ces interfaces agiraient comme des extensions de leurs environnements de composition assistée par ordinateur et fourniraient un espace physique supplémentaire pour lʼexpression et lʼexploration musicale.
Conception participative de structures personnelles sur le papier
Nous avons réalisé des sessions de conception participative qui examinent lʼutilisation de représentations musicales formelles pour la création de nouvelles interfaces de papier couplées avec les logiciels de composition assistée par ordinateur.
Nous avons identifié deux exemples de structures formelles sur papier créées par des compositeurs : le Tonnetz de Jean-Marc Chouvel et la micro-orchestration de Philippe Schoeller. La figure ci-dessous les illustre. Ces structures permettent aux compositeurs dʼapprécier visuellement le résultat musical et leurs permet dʼappliquer de nouvelles opérations musicales pour créer des séquences musicales alternatives avant de traduire le résultat final en partition.
Nous avons conduit des sessions de conception participative avec quatre compositeurs et un réalisateur en informatique musicale pour explorer comment les compositeurs peuvent créer leurs propres structures sur papier pour aider la saisie de leurs idées musicales et la réflexion tout en interagissant avec leurs environnements de composition assistée par ordinateur.
Les résultats de l'étude nous ont permis d'identifier des scénarios concrets où les participants ont conçu leurs propres structures sur le papier pour explorer des idées et écrire de la musique. Certains ont créé des petits composants mobiles pour faciliter des tâches spécifiques telles que la saisie de hauteur ou de rythmes, ou bien encore pour organiser des éléments en séquences ou tracer des trajectoires. D'autres ont créé des interfaces sur des pages entières et ont reproduit et adapté les interfaces de leurs outils informatiques pour éditer des enregistrements musicaux ou de contrôler et explorer la production de d'orchestrations.
Les séances de conception ont suggéré plusieurs interactions avec le stylo et des manipulations tangibles de composants papier permettant aux compositeurs de travailler avec leurs données telles que : dessiner et modifier des données spécifiques sur du papier pré-formaté, tester des variations en ajoutant des données manuscrites, définir des modules programmables, aligner des éléments mobiles, les relier, les superposer et de les archiver dans des dossiers physiques.
PaperSubstrates : Composants modulaires pour le papier interactif
A partir des composants papier et des interactions proposées par les participants des sessions de conception participative nous proposons les Paper Substrates, des composants papier qui définissent des structures modulaires pour lʼinteraction avec des représentations personnelles de données musicales issues dʼenvironnements informatique. Les Paper Substrates ont les rôles et les fonctions suivantes:
Les Paper Substrates fournissent un ensemble de structures pour guider l'entrée des traits du stylo. Le niveau d'aide peut varier en fonction de la précision requise par un groupe d'utilisateurs donné. Un modèle qui offre trop de précision d'entrée peut être un fardeau pour l'expression créative. D'autre part, un modèle qui donne trop de liberté peut être inapproprié pour l'entrée de données précises ou des données qui attendent la reconnaissance du système. Par exemple, la figure ci-dessous présente trois modèles pour l'entrée de données graphiques, chacune offrant un niveau de détail différent.
Les paper Substrates peuvent être reliés entre eux avec des manipulations physiques afin de combiner ou de partager des données musicales. La figure suivante montre trois manipulations physiques qui permettent à l'utilisateur de connecter des substrates à la volée.
La figure suivante illustre un scénario impliquant des interactions tangibles ou la position dans lʼespace détermine la position temporelle dʼun composant par rapport à un composant qui agit comme référence.
Nous avons conçu un premier prototype interactif pour tester la faisabilité de la création de substrates, en les reliant à des environnements de composition assistée par ordinateur, l'exploration de leur conception physique et la concrétisation de formes d'interaction tangible qui ont émergées au cours de nos sessions de conception.
Interactive prototype from Jérémie Garcia on Vimeo.
PaperComposer: Création dʼinterfaces de papier interactif personnelles avec les Paper Substrates
Nous avons développé une boîte à outil dédiée aux Paper Substrates qui comprend une API et PaperComposer, un constructeur d'interface utilisateur. L'API permet aux développeurs de définir de nouveaux substrates avec des structures pour représenter les données musicales personnelles et de définir les interactions associées aux évènements générés par le stylo. Le constructeur d'interface permet aux développeurs et aux utilisateurs finaux de connecter les représentations musicales sur le papier avec des flux de données de logiciels de composition assistée par ordinateur, de personnaliser leurs substrates et de déployer leurs applications de papier interactif. PaperComposer intègre également des mécanismes de gestion de sessions, de débogage et dʼenregistrement des données. La Figure ci-dessous montre lʼinterface de PaperComposer dédiée à la création dʼinterface avec des substrates.
PaperComposer peut être télécharger sur la page qui lui est dédiée. La vidéo suivante illustre un exemple d'utilisation de PaperComposer avec des données dans Max.
Exemples
Nous avons utilisé ces outils pour concevoir plusieurs exemples de nouvelles interfaces de papier interactif. Certains ont été conçus avec des compositeurs pour soutenir des tâches spécifiques de leur processus de composition telles que la saisie de séquence avec une notation musicale personnelle et l'exploration dʼalgorithmes de synthèse sonore avec des gestes manuscrits.
Un autre exemple est PaperTonnetz qui a été inspiré par la pratique de Jean-Marc Chouvel et propose d'utiliser les Tonnetz, des réseaux de notes, comme une structure sous-jacente dans laquelle les chemins tracés deviennent des accords et des mélodies. PaperTonnetz à été réalisé en collaboration avec Louis Bigo
Enfin, un dernier exemple est l'installation interactive Dessines moi un paysage sonore réalisée en collaboration avec Patrice Guyot qui permet aux visiteurs de créer paysages sonores à partir de dessins et de les explorer physiquement en se déplaçant sur un sol interactif. La vidéo ci-dessous illustre le fonctionnement de l'installation.
Ces études de cas ont montré l'utilisation pratique de la boite à outils composée de LʼAPI et de PaperComposer. Cependant, il reste difficile d'évaluer et de comparer ces interfaces avec d'autres systèmes interactifs.
Observations structurées avec Polyphony : un outil multi-facettes pour étudier la composition musicale
Nous présentons une technique d'observation structurée de la composition musicale. Nous avons développé et utilisé Polyphony, une interface utilisateur unifiée qui intègre papier interactif, les contrôleurs matériel et des interfaces usuelles, pour étudier l'utilisation de systèmes interactifs dans la composition assistée par ordinateur.
Nous avons travaillé avec un compositeur professionnel afin de créer et valider une tâche de composition dʼune heure : Chaque participant doit composer une pièce électronique basée sur un enregistrement de 20 secondes dʼune pièce de Webern avec un effet audio et un synthétiseur. Nous avons demandé à douze compositeurs dʼutiliser Polyphony, notre interface intégrant un ensemble complet d'outils de composition existants, y compris des dispositifs pour la saisie manuscrite avec du papier interactif ou une tablette graphique, ainsi que d'un clavier, une souris et des contrôleurs audio. Leurs résultats sont disponible sur cette page. La vidéo ci-dessous présente Polyphony et les résultats de l'expérience.
Structured Observation with Polyphony: a Multifaceted Tool for Music Composition from Jérémie Garcia on Vimeo.
Polyphony propose une nouvelle approche pour l'intégration de toutes les phases du processus de composition, de l'expression d'idées sur le papier à la mise en oeuvre finale sur un ordinateur. Compte tenu des contraintes de temps extrêmes, certains compositeurs ont limité leur utilisation de Polyphony aux dispositifs dʼentrée qu'ils connaissaient déjà. Cependant, d'autres ont utilisé à la fois des interfaces familières et non familières pour explorer leur potentiel. Chaque participant à pu sʼapproprié Polyphony et lʼutiliser de sa propre manière.
Bien qu'initialement conçu uniquement pour la tâche de composition de lʼexpérience, Polyphony a pu sʼadapter aux stratégies très diverses utilisées par les compositeurs. Tous ont réussi à exprimer et réaliser leurs compositions dans le temps imparti même sʼils auraient souhaités avoir plus de temps pour finaliser leurs pièces. Les compositeurs ont particulièrement appréciés le retour fournit par Polyphony lors des interactions ainsi que la capacité de synchroniser les données pour les différents dispositifs dʼentrée. Nous croyons quʼune interface « Polyphonique » qui intègre plusieurs modalités dʼentrée et de sortie peut aider les personnes créatives à travailler plus efficacement en utilisant la modalité la plus appropriée pour la tâche à accomplir.
Quid Sit Musicus: Recherche et Création avec le compositeur Philippe Leroux
Les manuscrits enluminés de musique médiévale contiennent de riches décorations en plus de la notation neumatique manuscrite. Nous avons collaboré avec le compositeur Philippe Leroux pour utiliser de tels symboles manuscrits lors de la composition de sa pièce Quid sit musicus. Nous avons conçu de nouveaux systèmes interactifs pour la création de ressources compositionnelles, la synthèse sonore et le contrôle de la spatialisation à partir de tracés effectués sur une partition médiévale. La vidéo ci-dessous est un documentaire sur la création de la pièce de Philippe Leroux.
Nous avons développé des outils dédiés à la composition assistée par ordinateur dans OpenMusic. En particulier, nous avons créé des patchs qui réagissent aux interactions du stylo et produisent un retour audio-visuel des résultats du traitement des données. Ces traitements permettent par exemple de créer des échelles mélodiques et rythmiques à partir de classifications des formes, la transformation dʼaccords par effet doppler selon la vitesse dʼécriture dʼune forme ou la projection du tracé dans une partition pour créer une séquence polyphonique. Ces outils réactif sont permit au compositeur dʼexplorer plusieurs solutions alternatives ainsi que d'affiner ses processus musicaux.
De tels environnements interactifs de composition assistée par ordinateur pourraient être fertiles pour la créativité car ils permettent au compositeur de s'engager dans un partenariat avec l'ordinateur pour améliorer itérativement ses idées et ses programmes tout en ajustant son entrée manuscrite.
Conclusion
Nous avons observé le processus de composition dans des conditions réelles avec un certain nombre de méthodes et identifié un principe fondamental sous-jacent qui caractérise le processus créatif de composition musicale. Les compositeurs créent et utilisent des structures dans lesquelles ils expriment et explorent leurs idées avec leurs propres représentations musicales. Ce concept de Paper Substrates nous a permis de créer des outils interactifs qui permettent de préserver la simplicité d'expression des idées sur le papier tout en facilitant la transition vers les environnements de composition assistée par ordinateur. Nous avons développé et utilisé plusieurs systèmes interactifs qui utilisent du papier interactif pour aider l'expression, l'exploration et la réalisation des idées musicales.
Bibliographie
Les références citées dans ce texte sont les suivantes :
- Healey, P. G. T., Jean-Baptiste Thiebaut, and Thiebaut, J.-B. (2007). Sketching Musical Compositions. In Proceedings of the Cognitive Science Society conference, CogSci ’07, pages 1079–1084.
- Hutchinson, H., Mackay, W. E., Westerlund, B., Bederson, B. B., Druin, A., Plaisant, C., Beaudouin-Lafon, M., Conversy, S., Evans, H., Hansen, H., Roussel, N., and Eiderbäck, B. (2003). Technology probes: inspiring design for and with families. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems - CHI’03, CHI ’03, pages 17–24, New York, NY, USA. ACM.
- Letondal, C., Mackay, W. E., and Donin, N. (2007). Paperoles et musique. In Proceedings of the 19th International Conference of the As- sociation Francophone d’Interaction Homme-Machine, IHM ’07, pages 167–174, New York, New York, USA. ACM.
- Song, H., Guimbretière, F., and Lipson, H. (2009b). The ModelCraft framework: Capturing freehand annotations and edits to facilitate the 3D model design process using a digital pen. ACM TOCHI, 16(3):14.
- Tsandilas, T., Letondal, C., and Mackay, W. E. (2009). Musink: com- posing music through augmented drawing. In Proceedings of the 27th international conference on Human factors in computing systems - CHI 09, CHI’09, pages 819–828, New York, NY, USA. ACM.
Je remercie Wendy Mackay, Fanis Tsandilas et Carlos Agon pour leur aide et leurs précieux conseils lors de mon travail de doctorat.
