La musique de jeu vidéo a longtemps été tributaire des évolutions technologiques du médium. À l’origine assez sommaire, elle ponctuait les silences avec des boucles sonores programmées au format MIDI et limitées par le format cartouche à la fin des années 80. Avec les innovations qui ont suivi, la musique de jeu vidéo veut se rapprocher de celle du cinéma en devenant suggestive : elle indique la température émotionnelle d’une séquence et accentue ce que le joueur ressent manette (ou souris) en main.

On assiste alors aux prémices de la musique adaptative avec la création du moteur sonore iMUSE (pour Interactive Music Streaming Engine) qui sera appliqué au célèbre jeu d’aventure en point & click The Secret of Monkey Island en 1990. L’objectif est ainsi que la musique reflète le gameplay et les actions du joueur à l’écran. Si désormais la musique adaptative est devenue un standard pour bon nombre de productions contemporaines , elle cache une chimère qui à première vue pourrait opposer développeurs et compositeurs. Et si la musique était générée entièrement via un algorithme en fonction des actions du joueur ? On parle alors de musique procédurale.

L’hybridation musicale de No Man’s Sky

Comme le rappelle Paul Weir, concepteur sonore pour le jeu No Man’s Sky, la génération procédurale est présente dans la création de jeux vidéo depuis plusieurs décennies, mais n’a pas encore marqué son empreinte sur le monde de l’audio et encore moins celui de la musique. No Man’s Sky permet au joueur d’explorer des galaxies et planètes générées mathématiquement pour une expérience totalement individuelle. Plus qu’une simple synthèse audio, le sound design est donc généré en temps réel en fonction de tous les systèmes que le jeu met en place et des évènements qu’il fait survenir.

Mais quid de la musique ? Le groupe de post-rock 65daysofstatic a composé un album entier pour les besoins du jeu, qui a par la suite été décomposé en plus de 2 500 éléments (boucles de batteries, mélodies, nappes, riffs de guitares) avant de pouvoir adapter la musique à chaque situation via le système bien connu de synthèse modulaire. Si elle n’est pas générée procéduralement, la musique relève ici le défi immense de s’adapter à des situations de gameplay générées en temps réel, et donc imprévisibles.

Mini Métro, la musique intégrée au game design

Dans Mini Metro, le joueur conçoit un réseau métropolitain et ses stations pour une ville en plein essor. Malgré sa patte graphique minimaliste, le jeu est d’une profondeur systémique vertigineuse à laquelle s’ajoute un moteur sonore complexe. Le compositeur Disasterpiece a ainsi conçu un modèle qui marie musique d’ambiance et sound design dépendant entièrement des évènements du jeu. La composition procédurale jongle constamment entre l’intention musicale et les systèmes qui en génèrent les variations.

Le compositeur est allé plus loin en mettant en place avec les créateurs du jeu un système dit de quantization, qui aligne tous les évènements du jeu sur les différents temps d’une mesure (à l’instar du jeu Rez sorti sur PlayStation et Dreamcast en 2001). Ainsi, les notes et tonalités changent, tout comme le tempo qui peut ainsi ralentir ou s’accélérer en fonction des situations de gameplay.

Si par sa nature, ce système purement génératif empêche de proposer une œuvre singulière, certains s’y sont essayés comme le compositeur Max Duggan qui a regroupé le fruit d’une multitude de parties de Mini Metro dans un EP intitulé Reflections of Mini Metro.

Le futur : OpenAI et son algorithme Jukebox

À l’instar de No Man’s Sky et de ses planètes procédurales, la musique pourrait ainsi offrir à chaque joueur une expérience sonore à chaque fois différente et unique. Les jeux devenant de plus en plus complexes avec des situations de gameplay et narratives dites "émergentes", fruit de la confrontation entre différents systèmes de jeu, la musique pourrait ainsi participer à cette singularisation de l’expérience. Si le concept de musique générée entièrement par ordinateur date des années 50, les innovations en termes de machine learning ont ainsi permis à certains chercheurs de mettre au point des intelligences artificielles capables d’apprendre et de jouer leurs propres compositions musicales.

Récemment, c’est l’IA Jukebox de la société OpenAI qui nous offre un aperçu convaincant, mais encore embryonnaire, de ce que pourrait devenir la musique procédurale. Jukebox se base ainsi sur des partitions, et donc la dimension purement technique de la composition, tout en puisant son inspiration directement sur des chansons ou même un genre musical à part entière, comme la country, le rock ou même la pop.

Reste à savoir maintenant si ce modèle est souhaitable, et ce pour une raison très simple : comment garder une certaine intention artistique quand la musique d’un jeu vidéo est générée en temps réel par un algorithme ? Si le système de Mini Metro fonctionne, c’est qu’il est inhérent au game design, c’est-à-dire qu’il est cohérent avec l’expérience de jeu voulue par ses créateurs. Si la musique procédurale semble se marier parfaitement avec le médium du jeu vidéo, reste à savoir à quel degré les compositeurs et concepteurs y auront recours.

Hugo Cléry.