Un IA du MIT capable d’isoler le son des instruments de musique

Pixel Player est le nom de l’intelligence artificielle développée par le MIT. Son but ? Isoler les sons d’instruments de musique dans une vidéo.

Comme on peut le voir dans la vidéo, le système est capable d’isoler le son de la guitare, du violon, du tuba ou de la trompette, juste en cliquant sur les instruments. Le système a été formé en regardant plus de 60 heures de performances musicales. Le système est « auto-supervisé », c’est-à-dire qu’aucune intervention humaine n’est nécessaire dans la reconnaissance des instruments. Dans un premier temps, il localise les endroits de la vidéo qui produisent du son, puis séparent les sons. Un des étudiants ayant travaillé sur le projet explique « nous avons été surpris de pouvoir localiser dans l’espace les instruments au niveau du pixel. Être capable de faire cela ouvre beaucoup de possibilités, comme pouvoir éditer l’audio d’instruments individuels en un seul clic sur la vidéo. » Les utilisateurs peuvent en plus d’écouter l’instrument qu’ils préfèrent, modifier le mixage audio d’un enregistrement et par exemple, mettre le son d’un instrument plus fort à un certain moment ou au contraire le diminuer.

À l’avenir, l’équipe prévoit d’améliorer la qualité audio et d’ajouter davantage d’instruments, car aujourd’hui le système n’en reconnaît que 20. Avec davantage d’entraînements, le système pourra ainsi identifier de nouveaux instruments, mais également faire la différence dans les différentes catégories d’instruments. On peut donc imaginer que cette IA puisse être utilisée comme outil d’édition audio, mais également aider les ingénieurs à améliorer la qualité audio de vieux métrages de concerts ou encore aider à la formation des robots dans l’identification des sons dans des environnements plus bruyants. Récemment, une IA de Google avait pu isoler une voix dans une foule.

Des progrès donc de l’IA dans le secteur musical. Il y a quelque temps, une IA avait réussi à créer une chanson dans le style des Beatles grâce à une combinaison de plusieurs éléments d’autres chansons.