HeyGen propose de traduire des vidéos avec des voix clonées par IA. Un outil impressionnant mais controversé.
HeyGen est un service en ligne qui permet de créer des vidéos à partir de texte avec des avatars et des voix générés par l’intelligence artificielle (IA). L’entreprise vient de dévoiler un nouvel outil qui permet de traduire des vidéos dans une autre langue, en modifiant même les mouvements de bouche des personnes qui s’expriment. Il s’agit d’une prouesse technologique qui repose sur le clonage de la voix et la synchronisation labiale. Mais cet outil soulève aussi des questions éthiques et artistiques sur le respect du travail des comédiens de doublage et l’authenticité des œuvres originales.
Comment fonctionne HeyGen ?
Le nouvel outil de traduction de vidéos de HeyGen utilise deux techniques d’IA : le clonage de la voix et la synchronisation labiale.
Le clonage de la voix consiste à reproduire la voix d’une personne à partir d’un échantillon audio, en utilisant des techniques d’apprentissage automatique. Le résultat est une voix synthétique qui imite le timbre, l’accent, le ton et l’émotion de la voix originale. HeyGen utilise cette technique pour traduire les dialogues des vidéos dans la langue cible, en conservant la personnalité et l’identité vocale des locuteurs.
La synchronisation labiale consiste à ajuster les mouvements de bouche des personnes qui s’expriment dans une vidéo, en fonction du son qu’elles produisent. HeyGen utilise cette technique pour modifier les mouvements de bouche des locuteurs dans la vidéo originale, afin qu’ils correspondent aux mots prononcés dans la langue cible. Ainsi, il n’y a pas de décalage entre l’image et le son, et l’illusion est parfaite.
Le nouvel outil de traduction de vidéos offre des avantages indéniables pour la création et la diffusion de vidéos dans différentes langues. Il peut être utile pour des domaines comme l’éducation, l’information, la promotion et pour les créateurs de contenus. Il permet de rendre les contenus plus accessibles et plus attractifs pour les publics internationaux.
Testing out @HeyGen_Official translation on French and German. I don’t speak either language so let me know if it sounds natural if you do.
I hope if you pay you can turn off the color correction.
It didn’t work on my phone so I had to upload on my pc.https://t.co/FMJp9sJEBI pic.twitter.com/iF5eONAQ3c— Jon Finger (@mrjonfinger) September 11, 2023
HeyGen permet de créer, pour un certain prix, toutes sortes de productions : en quelques clics, on peut créer des vidéos style « Breaking news » de chaîne d’informations, en choisissant les présentateurs, le fonds et le texte ; on peut animer un avatar ; on peut créer une vidéo commerciale pour des produits référencés sur Amazon en indiquant simplement leurs URL… Les possibilités sont multiples, et les options de personnalisation aussi. On peut remarquer que le site propose l’avatar « Vera in Jacket », qui sert à la chaîne suisse M Le Média pour présenter la météo depuis avril 2023.
Un outil controversé
Cependant, traduire des vidéos avec des voix clonées par IA pose aussi des risques potentiels pour le métier des comédiens de doublage. En effet, HeyGen semble vouloir remplacer les artistes humains par des voix synthétiques, ce qui pourrait nuire à la profession du doublage.
L’entreprise a d’ailleurs affiché ses ambitions sur X en publiant le 10 septembre un message provocateur : ‘Vous avez déjà regardé un film dans une langue autre que l’originale ? Imaginez… nos services de traduction à Hollywood. Plus de doublage horrible, une synchronisation des lèvres parfaites, des voies clonées qui imitent les accents, le ton et l’émotion.‘
Ever watched a film in a language other than its original? 🤮
Imagine…our Translation Feature x Hollywood 🎬
– No more horrible dubbing
– Perfect lip syncing
– Voice clones that mimic every accent, tone & emotionIm tryna watch @deadpoolmovie in Spanish 🇪🇸
— HeyGen (@HeyGen_Official) September 9, 2023
Rappelons que depuis mai dernier, les comédiens de doublage alertent sur le risque que faisait planer l’intelligence artificielle sur leur métier. Un syndicat international rassemblant les artistes de plusieurs pays avait signé une lettre ouverte, appelant à la limitation de la technologie, et à la protection du « travail des acteurs et la créativité humaine dans son ensemble ». Il semble que leurs craintes étaient justifiées.
