Paul Bednyakov | Getty Images
Tu me parles … en allemand?
La nouvelle technologie deepfake permet à Robert De Niro de livrer sa célèbre ligne de Conducteur de taxien allemand impeccable, avec des mouvements réalistes des lèvres et des expressions faciales. Le logiciel d’IA manipule les lèvres et les expressions faciales d’un acteur pour les faire correspondre de manière convaincante au discours de quelqu’un qui parle les mêmes lignes dans une langue différente. La technologie basée sur l’intelligence artificielle pourrait remodeler l’industrie du cinéma, de manière à la fois séduisante et troublante.
La technologie est liée au deepfaking, qui utilise l’IA pour coller le visage d’une personne sur quelqu’un d’autre. Il promet de permettre aux réalisateurs de reprendre efficacement les films dans différentes langues, ce qui rend les versions étrangères moins choquantes pour le public et plus fidèles à l’original. Mais le pouvoir de modifier automatiquement le visage d’un acteur si facilement pourrait également s’avérer controversé s’il n’est pas utilisé avec précaution.
La technologie de doublage IA a été développée par Flawless, une société britannique cofondée par le réalisateur Scott Mann, qui se dit fatigué de voir de mauvais doublages étrangers dans ses films.
Après avoir regardé une version étrangère de son film le plus récent de l’époque, Braquage, qui met en vedette De Niro, Mann se dit consterné par la façon dont le doublage a ruiné des scènes soigneusement conçues. (Il refuse de préciser la langue.) Le doublage implique parfois de changer le dialogue de manière significative, dit Mann, dans le but de le faire correspondre plus étroitement aux mouvements des lèvres d’un acteur. «Je me souviens d’avoir été dévasté», dit-il. “Vous faites un petit changement dans un mot ou une performance, cela peut avoir un grand changement sur un personnage dans le rythme de l’histoire, et à son tour sur le film.”
Mann a commencé à rechercher des travaux universitaires liés aux deepfakes, ce qui l’a conduit à un projet de doublage d’IA dirigé par Christian Theobalt, professeur à l’Institut Max Planck pour l’informatique en Allemagne. Le travail est plus sophistiqué qu’un deepfake conventionnel. Il s’agit de capturer les expressions faciales et les mouvements d’un acteur dans une scène ainsi que de quelqu’un qui parle les mêmes lignes dans une autre langue. Ces informations sont ensuite combinées pour créer un modèle 3D qui fusionne le visage et la tête de l’acteur avec les mouvements des lèvres du doubleur. Enfin, le résultat est cousu numériquement sur l’acteur dans une scène.
Flawless s’est inspiré du projet de Theobalt pour son produit. Mann dit que la société est en discussion avec des studios sur la création de versions étrangères de plusieurs films. D’autres extraits de démonstration de Flawless montrent Jack Nicholson et Tom Cruise livrant des lignes célèbres de Quelques bons hommes en français et Tom Hanks parlant espagnol et japonais dans des scènes de Forrest Gump.
«Ce sera bientôt invisible», dit Mann. “Les gens vont regarder quelque chose et ils ne se rendront pas compte qu’il a été initialement tourné en français ou autre.”
Mann dit que Flawless étudie également comment sa technologie pourrait aider les studios à éviter des reprises coûteuses en faisant apparaître un acteur pour dire de nouvelles lignes. Mais il dit que certains acteurs sont un peu instables lorsqu’ils se voient manipulés à l’aide de l’IA. «Il y a une peur et un wow – ce sont les deux réactions que je continue à avoir», dit-il.
Virginia Gardner, une actrice qui joue dans le dernier film de Mann et qui s’est vue parler espagnol grâce au logiciel Flawless, ne semble pas trop inquiète, même si elle suppose que les films modifiés avec l’IA incluraient un avertissement. «Je pense que c’est la meilleure façon d’être en mesure, en tant qu’acteur, de préserver votre performance» dans une autre langue, dit-elle. “Si vous faites confiance à votre réalisateur et que vous êtes convaincu que ce processus ne fera que rendre un film meilleur, alors je ne vois vraiment pas d’inconvénient à cela.”
La manipulation vidéo par IA est controversée – et pour une bonne raison. Les programmes deepfake gratuits qui peuvent facilement échanger le visage d’une personne sur quelqu’un d’autre dans une scène vidéo ont proliféré avec les progrès de l’IA. Le logiciel identifie les points clés sur le visage d’une personne et utilise l’apprentissage automatique pour capturer comment le visage de cette personne bouge.
La technologie a été utilisée pour créer du faux porno de célébrités et des clips pornographiques de vengeance dommageables ciblant les femmes. Les experts craignent que les deepfakes montrant une personne célèbre dans une situation compromettante ne répandent de fausses informations et n’influencent les élections.
La manipulation de visage standard pourrait s’avérer controversée dans l’industrie du cinéma. Darryl Marks, fondateur d’Adapt Entertainment, une société de Tel Aviv qui travaille sur un autre outil de doublage d’IA, dit qu’il ne sait pas comment certains acteurs pourraient réagir en voyant leur performance modifiée, surtout s’il n’est pas clair que cela a été fait. par un ordinateur. «S’il y a un acteur très célèbre, ils pourraient le bloquer», dit-il.
«Il existe des utilisations légitimes et éthiques de cette technologie», déclare Duncan Crabtree-Ireland, avocat général de la Screen Actors Guild. “Mais toute utilisation d’une telle technologie ne doit être faite qu’avec le consentement des artistes interprètes concernés et avec une compensation appropriée et appropriée.”
Hao Li, un artiste d’effets visuels spécialisé dans l’utilisation de l’IA pour la manipulation faciale, explique que les réalisateurs et producteurs de films montrent un intérêt croissant pour les deepfakes et la technologie d’IA associée. Créer un deepfake nécessite normalement des heures de traitement algorithmique, mais Li travaille sur un film où un logiciel deepfake plus avancé permet à un réalisateur de voir un acteur transformé en temps réel.
Li dit que la situation est similaire à celle du moment où l’utilisation de l’infographie photoréaliste est devenue largement disponible dans les années 2000. Désormais, grâce à l’IA, “tout le monde a soudainement envie de faire quelque chose”, dit-il.
Cette histoire est apparue à l’origine sur wired.com.
