Comment ce producteur canadien utilise l’IA pour permettre aux artistes de chanter dans différentes langues

Lorsque le producteur canadien Jordan Young a commencé à jouer avec la technologie de clonage vocal de l’IA – créant finalement une fausse chanson de Kanye West qui sonnait exactement comme Kanye West – cela l’a immédiatement incité à réfléchir aux implications éthiques de la technologie.

“Dès que je l’ai réalisé, j’ai commencé à réfléchir… si quelqu’un peut faire de la musique avec la voix de n’importe qui, qu’est-ce que cela signifie pour les artistes ? Qu’est-ce que cela signifie pour la musique ?” a déclaré Young, qui a travaillé avec Beyoncé, BTS et Dua Lipa.

Lui et sa société Hooky ont récemment développé une technologie qui pourrait donner l’impression qu’un artiste chantait dans une langue différente de la sienne.

Cela a trouvé un écho auprès du chanteur pop américain Lauv, qui à l’époque venait de terminer une tournée coréenne et souhaitait trouver un moyen significatif de remercier ses fans. Pourquoi ne pas développer une nouvelle version de sa chanson Je t’aime comme çatransformé pour donner l’impression qu’il jouait en coréen ?

Le processus a commencé lorsque la compagnie de Young a fait appel à Kevin Woo, un auteur-compositeur-interprète sud-coréen qui parle couramment l’anglais et le coréen, pour réécrire et chanter la chanson dans une nouvelle langue. Cette interprétation doit capturer les nuances de la langue coréenne, a expliqué Young.

“Il ne s’agit pas simplement de le publier sur un site de traduction et quoi qu’il en sorte, c’est votre chanson. Vous devez être artistique à ce sujet”, a déclaré Young.

Les enregistrements devaient également correspondre musicalement. Par exemple, si Lauv a chanté en fausset sur quelques mesures, Woo a fait de même dans sa démo en coréen.

Entrez dans l’intelligence artificielle.

La technologie est appliquée à « chaque recoin » de la voix de Lauv, comme le dit Young – des fréquences et des tons les plus élevés aux plus graves – pour construire un modèle complet de sa voix.

La démo en coréen écrite et chantée par Woo est ensuite combinée avec le modèle d’IA de la voix de Lauv, créant une chanson en coréen qui ressemble à celle chantée par Lauv.

REGARDER | La version coréenne de Love U Like That de LAUV :

Cela a été une année de comptes à rendre pour les industries créatives aux prises avec l’intelligence artificielle.

Le secteur de la musique en particulier a vu une explosion de chansons générées par l’IA et conçues pour ressembler aux artistes les plus populaires au monde, comme le morceau viral Avoir le coeur sur la mainqui présentait des voix générées par ordinateur qui ressemblaient à celles de Drake et The Weeknd.

Certains artistes sont lutte l’utilisation non autorisée de leur voix et de leur image, tandis que d’autres aiment GrimesJohn Legend et Demi Lovato sont adopter la technologie à des degrés divers.

“Au minimum, nous devrions donner aux artistes le contrôle de la façon dont leur voix est utilisée”, a déclaré Young, originaire de Toronto, soulignant que c’est de là qu’est née l’idée d’utiliser l’IA pour changer de langue.

“Il s’agissait de créer un mécanisme de contrôle permettant aux artistes de gérer leur image dans un monde où l’IA peut totalement perturber cela.”

D’autres sociétés travaillent sur une technologie axée sur la musique et la traduction.

AudioShake, à San Francisco société spécialisée dans la séparation audio, isole la piste vocale d’une chanson de la musique, puis utilise l’IA pour transcrire et traduire la chanson, créant ainsi une technologie qui mappe l’anglais original avec la nouvelle langue afin que les fans puissent suivre les paroles de la chanson originale dans leur langue. La chanteuse pop Sia est un des leurs clients.

Pendant ce temps, le plus grand label de Corée du Sud, HYBE, a utilisé sa technologie d’IA interne pour que son artiste Lee Hyun, connu sous le nom de MIDNATT, puisse enregistrer sa chanson. Mascarade en six langues différentes : anglais, coréen, espagnol, japonais, chinois et vietnamien.

Le chanteur a enregistré sa chanson dans chaque langue, qui a ensuite été combinée avec des démos de locuteurs natifs lisant les paroles. Hyun parle coréen ainsi qu’un anglais et un chinois limités.

“C’est une chose effrayante que les gens ne comprennent pas complètement, et souvent l’IA est décrite comme une chose monolithique, et ce n’est pas le cas”, a déclaré Young.

“L’IA est en fait composée de nombreuses technologies différentes qui peuvent s’assembler de différentes manières.”

Les artistes tentent déjà de toucher des fans internationaux

Même avant que l’IA n’apparaisse au premier plan cette année, les artistes essayaient déjà d’utiliser différents langages pour cibler leurs fans, selon Kristin Robinson du Billboard Magazine.

Elle pointe du doigt Lentementune chanson de 2017 du chanteur portoricain Luis Fonsi et du rappeur portoricain Daddy Yankee, qui a vu sa version remixée mettant en vedette Justin Bieber devenir un énorme succès.

“Devoir Justin Bieber sauter sur un morceau latino n’est pas quelque chose auquel je m’attendais. Que Beyoncé essaie de chanter en espagnol n’est pas quelque chose que j’avais sur ma carte de bingo pour que Beyoncé le fasse.”

Mais comme l’IA est désormais prise en compte dans cette tendance déjà réussie, Robinson affirme que les gens auront probablement des sentiments mitigés quant à « l’authenticité » du processus.

Reste à savoir si ce type de musique sera bien accueilli. Robinson affirme que l’utilisation de la technologie d’une manière à la fois appropriée sur le plan éthique et culturel constitue une partie importante de la conversation.

Cela s’est reflété dans certaines réactions en ligne à la version coréenne de Lauv de Je t’aime comme ça.

Certains fans se sont dits “obsédés” par la nouvelle version, tandis que d’autres ont remis en question l’optique d’un artiste blanc utilisant la technologie pour insérer sa voix sur une chanson chantée par un artiste coréen. D’autres encore ont suggéré différentes façons de faire chanter Lauv et Woo sur le même morceau.

Il est important d’obtenir la « nuance » du langage : artiste torontois

La chanteuse et compositrice de jazz torontoise Jacqueline Teh espère intégrer la langue de sa famille – le hokkien, un dialecte chinois de la province du Fujian – dans ses projets futurs. En tant qu’artiste multilingue, elle peut voir les avantages et les inconvénients de l’utilisation de l’IA pour créer des chansons dans différentes langues.

Elle dit que la technologie semblait passionnante au début, ajoutant qu’elle peut être un « formidable tremplin » pour les artistes souhaitant accéder à d’autres langues.

Mais elle dit que le crédit et l’agence sont extrêmement importants pour les artistes – et qu’elle ne voudrait pas que l’IA s’interpose dans une relation potentielle avec une langue qui est nouvelle pour elle ou avec une personne qui parle une langue différente de la sienne.

“Je pense qu’avec la langue, il y a tellement de nuances, il y a tellement d’argot et tellement de choses qui ne peuvent pas vraiment être traduites uniquement par la technologie”, a-t-elle déclaré, c’est pourquoi travailler avec un locuteur natif donne à la chanson plus de sens pour elle.

Elle dit que tant que les artistes n’utilisent pas l’IA pour contourner le travail acharné nécessaire à la création de relations significatives avec les fans et les autres artistes, “il y a tellement de choses qui nous sont accessibles grâce à la technologie”.

Young, le producteur, travaille sur un nouveau projet de traduction – potentiellement avec un artiste canadien. Il dit que maintenant que le génie est sorti de la bouteille, l’industrie doit trouver comment orienter la technologie dans la bonne direction.

“Je ne construirai jamais quelque chose qui soustrait l’être humain au processus créatif”, a-t-il déclaré. “Et de nombreuses entreprises tentent de le faire en ce moment.”