Lorsque Ludwig von Beethoven mourut en 1827, il était à trois ans de l’achèvement de sa Neuvième Symphonie, une œuvre saluée par beaucoup comme son magnum opus. Il avait commencé à travailler sur sa 10e Symphonie mais, en raison de la détérioration de sa santé, n’a pas pu faire beaucoup de progrès : il n’a laissé que quelques esquisses musicales.
Depuis lors, les fans de Beethoven et les musicologues ont été perplexes et se sont plaints de ce qui aurait pu être. Ses notes se moquaient d’une magnifique récompense, même si elle semblait à jamais hors de portée.
Désormais, grâce au travail d’une équipe d’historiens de la musique, de musicologues, de compositeurs et d’informaticiens, la vision de Beethoven prendra vie.
J’ai présidé la partie intelligence artificielle du projet, à la tête d’un groupe de scientifiques de la startup d’IA créative Playform AI qui a enseigné à une machine à la fois l’ensemble du travail de Beethoven et son processus créatif.
Un enregistrement complet de la 10e symphonie de Beethoven devrait sortir le 9 octobre 2021, le même jour que la première mondiale prévue à Bonn, en Allemagne – l’aboutissement d’un effort de plus de deux ans.
Les tentatives passées frappent un mur
Vers 1817, la Royal Philharmonic Society de Londres chargea Beethoven d’écrire ses neuvième et dixième symphonies. Écrites pour un orchestre, les symphonies contiennent souvent quatre mouvements : le premier est exécuté à un tempo rapide, le second à un tempo plus lent, le troisième à un tempo moyen ou rapide, et le dernier à un tempo rapide.
Beethoven a achevé sa Neuvième Symphonie en 1824, qui se termine par l’intemporelle « Ode à la joie ».
Mais en ce qui concerne la 10e Symphonie, Beethoven n’a pas laissé grand-chose, à part quelques notes de musique et une poignée d’idées qu’il avait notées.
Il y a eu quelques tentatives passées pour reconstruire des parties de la 10e symphonie de Beethoven. Le plus célèbre, en 1988, le musicologue Barry Cooper s’est aventuré à compléter les premier et deuxième mouvements. Il a tissé ensemble 250 mesures de musique à partir des sketches pour créer ce qui était, à ses yeux, une production du premier mouvement qui était fidèle à la vision de Beethoven.
Pourtant, la rareté des esquisses de Beethoven empêchait les experts symphoniques d’aller au-delà de ce premier mouvement.
Assembler l’équipe
Début 2019, le Dr Matthias Röder, directeur du Karajan Institute, une organisation de Salzbourg, en Autriche, qui promeut la technologie musicale, m’a contacté. Il a expliqué qu’il formait une équipe pour terminer la 10e symphonie de Beethoven à l’occasion du 250e anniversaire du compositeur. Conscient de mon travail sur l’art généré par l’IA, il voulait savoir si l’IA serait en mesure d’aider à combler les blancs laissés par Beethoven.
Le défi semblait de taille. Pour y parvenir, l’IA devrait faire quelque chose qu’elle n’avait jamais fait auparavant. Mais j’ai dit que j’allais tenter le coup.
Röder a ensuite constitué une équipe qui comprenait le compositeur autrichien Walter Werzowa. Célèbre pour avoir écrit le jingle de bong signature d’Intel, Werzowa a été chargé de mettre en place un nouveau type de composition qui intégrerait ce que Beethoven a laissé derrière lui avec ce que l’IA générerait. Mark Gotham, un expert en musique informatique, a dirigé les efforts pour transcrire les croquis de Beethoven et traiter l’ensemble de son travail afin que l’IA puisse être correctement formée.
L’équipe comprenait également Robert Levin, musicologue à l’Université Harvard qui se trouve également être un pianiste incroyable. Levin avait déjà terminé un certain nombre d’œuvres incomplètes du XVIIIe siècle de Mozart et Johann Sebastian Bach.
Le projet prend forme
En juin 2019, le groupe s’est réuni pour un atelier de deux jours à la bibliothèque musicale de Harvard. Dans une grande pièce avec un piano, un tableau noir et une pile de carnets de croquis de Beethoven couvrant la plupart de ses œuvres connues, nous avons expliqué comment des fragments pouvaient être transformés en un morceau de musique complet et comment l’IA pouvait aider à résoudre ce casse-tête, tout en restant fidèle. au processus et à la vision de Beethoven.
Les experts en musique présents dans la salle étaient impatients d’en savoir plus sur le type de musique que l’IA avait créée dans le passé. Je leur ai expliqué comment l’IA avait réussi à générer de la musique dans le style de Bach. Cependant, ce n’était qu’une harmonisation d’une mélodie entrée qui sonnait comme Bach. Cela ne s’est pas approché de ce que nous devions faire : construire une symphonie entière à partir d’une poignée de phrases.
Pendant ce temps, les scientifiques dans la salle – moi y compris – voulaient en savoir plus sur le type de matériaux disponibles et sur la manière dont les experts envisageaient de les utiliser pour terminer la symphonie.
La tâche à accomplir s’est finalement cristallisée. Nous aurions besoin d’utiliser des notes et des compositions complètes de l’ensemble de l’œuvre de Beethoven – ainsi que les croquis disponibles de la 10e Symphonie – pour créer quelque chose que Beethoven lui-même aurait pu écrire.
C’était un énorme défi. Nous n’avions pas de machine à laquelle nous pouvions envoyer des croquis, appuyer sur un bouton et lui faire cracher une symphonie. La plupart des IA disponibles à l’époque ne pouvaient pas continuer un morceau de musique inachevé au-delà de quelques secondes supplémentaires.
Nous aurions besoin de repousser les limites de ce que l’IA créative pourrait faire en enseignant à la machine le processus créatif de Beethoven – comment il prendrait quelques mesures de musique et les développerait minutieusement en symphonies, quatuors et sonates émouvants.
Reconstituer le processus créatif de Beethoven
Au fur et à mesure que le projet avançait, le côté humain et le côté machine de la collaboration ont évolué. Werzowa, Gotham, Levin et Röder ont déchiffré et transcrit les esquisses de la 10e symphonie, essayant de comprendre les intentions de Beethoven. En utilisant ses symphonies achevées comme modèle, ils ont tenté de reconstituer le puzzle de l’endroit où les fragments de croquis devraient aller – quel mouvement, quelle partie du mouvement.
Ils devaient prendre des décisions, comme déterminer si une esquisse indiquait le point de départ d’un scherzo, qui est une partie très vivante de la symphonie, généralement dans le troisième mouvement. Ou ils pourraient déterminer qu’une ligne de musique était probablement la base d’une fugue, qui est une mélodie créée en entrelaçant des parties qui font toutes écho à un thème central.
Le côté IA du projet – mon côté – s’est retrouvé aux prises avec une série de tâches difficiles.
Tout d’abord, et plus fondamentalement, nous devions comprendre comment prendre une courte phrase, ou même juste un motif, et l’utiliser pour développer une structure musicale plus longue et plus compliquée, tout comme Beethoven l’aurait fait. Par exemple, la machine a dû apprendre comment Beethoven a construit la Cinquième Symphonie à partir d’un motif de base à quatre notes.
Ensuite, parce que la suite d’une phrase doit également suivre une certaine forme musicale, qu’il s’agisse d’un scherzo, d’un trio ou d’une fugue, l’IA devait apprendre le processus de Beethoven pour développer ces formes.
La liste des choses à faire s’est allongée : nous avons dû apprendre à l’IA à prendre une ligne mélodique et à l’harmoniser. L’IA devait apprendre à relier deux sections de la musique. Et nous avons réalisé que l’IA devait être capable de composer une coda, qui est un segment qui termine une partie d’un morceau de musique.
Enfin, une fois que nous avions une composition complète, l’IA allait devoir trouver comment l’orchestrer, ce qui implique d’affecter différents instruments pour différentes parties.
Et il devait accomplir ces tâches de la manière dont Beethoven pourrait le faire.
Passer le premier grand test
En novembre 2019, l’équipe s’est à nouveau rencontrée en personne, cette fois à Bonn, au Beethoven House Museum, où le compositeur est né et a grandi.
Cette réunion a été le test décisif pour déterminer si l’IA pouvait mener à bien ce projet. Nous avons imprimé des partitions musicales qui avaient été développées par AI et construites à partir des croquis du 10e de Beethoven. Un pianiste s’est produit dans une petite salle de concert du musée devant un groupe de journalistes, de musicologues et d’experts de Beethoven.
Nous avons mis le public au défi de déterminer où se terminaient les phrases de Beethoven et où commençait l’extrapolation de l’IA. Ils ne pouvaient pas.
Quelques jours plus tard, l’une de ces partitions générées par l’IA a été jouée par un quatuor à cordes lors d’une conférence de presse. Seuls ceux qui connaissaient intimement les croquis de Beethoven pour la 10e Symphonie pouvaient déterminer quand les parties générées par l’IA sont entrées.
Le succès de ces tests nous a dit que nous étions sur la bonne voie. Mais ce n’étaient que quelques minutes de musique. Il y avait encore beaucoup de travail à faire.
Prêt pour le monde
À chaque instant, le génie de Beethoven s’est présenté, nous mettant au défi de faire mieux. Au fur et à mesure que le projet évoluait, l’IA a fait de même. Au cours des 18 mois qui ont suivi, nous avons construit et orchestré deux mouvements entiers de plus de 20 minutes chacun.
Nous prévoyons un certain recul de ce travail – ceux qui diront que les arts devraient être interdits à l’IA et que l’IA n’a pas à essayer de reproduire le processus créatif humain. Pourtant, en ce qui concerne les arts, je vois l’IA non pas comme un remplacement, mais comme un outil – un outil qui ouvre des portes aux artistes pour s’exprimer de nouvelles façons.
Ce projet n’aurait pas été possible sans l’expertise d’historiens humains et de musiciens. Il a fallu énormément de travail – et, oui, une réflexion créative – pour atteindre cet objectif.
À un moment donné, l’un des experts en musique de l’équipe a déclaré que l’IA lui rappelait un étudiant en musique passionné qui pratique chaque jour, apprend et devient de mieux en mieux.
Maintenant, cet étudiant, ayant pris le relais de Beethoven, est prêt à présenter la 10e Symphonie au monde.
Ahmed Elgammal est professeur au Département d’informatique de l’Université Rutgers et directeur du Art & AI Lab à Rutgers.
Cet article est republié de La conversation sous licence Creative Commons. Vous pouvez trouver le article original ici.
