J'ai cessé de faire confiance aux générateurs de musique IA la nuit où l'un a recraché une envolée vocale à la Mariah Carey

Il était presque minuit, et j'étais assis dans notre bureau avec deux ingénieurs et une cafetière de café infâme, en train de mener des tests de résistance sur une plateforme populaire de génération audio. On nous avait engagés pour évaluer si une agence de publicité pouvait utiliser en toute sécurité de la musique générée par IA dans une campagne nationale. Nous sollicitions donc l'outil de manière méthodique — genre par genre, style par style — en documentant ce qui en ressortait.

Puis l'une de mes ingénieures, Priya, a rejoué un morceau qu'elle avait généré avec une simple requête : « ballade pop entraînante, chanteuse, tessiture puissante ». Elle n'a mentionné aucun artiste. Elle n'a demandé aucune imitation. Mais ce qui est sorti des enceintes nous a tous les trois fait taire.

C'était indubitable. Le mélisme — cette envolée vocale en cascade qui plie les notes — appartenait à une seule personne. L'outil n'avait pas « créé » un style vocal. Il avait reconstruit la technique caractéristique de Mariah Carey à partir de ce qu'il avait ingurgité pendant son entraînement. Et il l'avait fait à partir d'une requête qui n'avait jamais mentionné son nom.

Je me suis tourné vers Priya et j'ai dit : « Si on livre ça à un client et que quelqu'un chez Sony l'entend, ce n'est pas nous qui allons être poursuivis. C'est le client qui va être poursuivi. »

C'est cette nuit-là que j'ai cessé de considérer la musique IA générative comme un outil créatif et que j'ai commencé à la voir pour ce qu'elle est réellement : un algorithme de compression pour du matériel protégé par le droit d'auteur, déguisé en champ de texte. Et c'est cette nuit-là que je me suis engagé à construire quelque chose de fondamentalement différent chez Veriprajna.

Le procès qui a tout changé

Si vous n'avez pas suivi les procédures de la Recording Industry Association of America contre Suno et Udio, vous devriez le faire. Ce n'est pas un procès de nuisance. C'est la ligne rouge de l'industrie musicale.

La RIAA allègue que ces plateformes se sont livrées à du « stream-ripping » à l'échelle industrielle — en contournant le chiffrement à chiffre roulant de YouTube pour télécharger des millions d'enregistrements protégés par le droit d'auteur et les injecter directement dans leurs pipelines d'entraînement. Pas une ingestion accessoire. Pas quelques chansons qui passent entre les mailles du filet. Des millions de morceaux, délibérément aspirés, leurs caractéristiques expressives quantifiées en vecteurs afin que le modèle puisse les reconstruire à la demande.

La théorie juridique est élégante et dévastatrice : le fruit de l'arbre empoisonné. Si les données d'entraînement sont obtenues illégalement, chaque sortie est viciée. Peu importe que l'utilisateur ait eu des intentions innocentes. Peu importe que la sortie ne soit pas une copie note pour note. Le modèle a appris à générer « une chanson à la Mariah Carey » en mémorisant l'empreinte statistique des véritables enregistrements de Mariah Carey. Ce n'est pas de l'inspiration. C'est de la décompression de données avec une requête textuelle en guise de clé.

Quand un modèle ne peut pas vous dire d'où viennent ses décisions créatives, on ne peut pas lui faire confiance dans une chaîne d'approvisionnement commerciale. Point final.

J'ai décrit l'analyse juridique et technique complète dans la version interactive de notre étude, mais la version courte est la suivante : les entreprises utilisatrices de ces outils louent un procès. Les conditions d'utilisation des plateformes sont conçues pour reporter la responsabilité sur l'utilisateur dès qu'une requête devient précise. Et « précise » est un seuil plus bas que vous ne le pensez.

Pourquoi le « fair use » échoue-t-il pour la musique IA ?

C'est la question que me posent le plus souvent les dirigeants qui veulent utiliser ces outils. « L'entraînement n'est-il pas transformatif ? N'est-ce pas comme un musicien qui écoute la radio ? »

Non. Et les tribunaux le disent de plus en plus.

Le fair use aux États-Unis repose sur quatre facteurs, mais celui qui condamne les générateurs de musique IA est le quatrième : l'effet sur le marché potentiel. Quand un outil d'IA facture aux utilisateurs 24 $ par mois pour générer des morceaux qui concurrencent directement — et se substituent à — les enregistrements sous licence sur lesquels il a été entraîné, le préjudice pour le marché n'est pas théorique. C'est le modèle économique.

Un musicien humain qui écoute Mariah Carey et écrit une chanson originale a assimilé cette influence à travers des années d'expérience vécue, un entraînement vocal physique et une interprétation créative. Un modèle de diffusion qui ingère son spectrogramme et apprend à le rétroconcevoir à partir du bruit a fait quelque chose de catégoriquement différent. Il a compressé son œuvre en poids et a appris à la décompresser sur commande.

Le règlement d'Udio avec Universal Music Group a rendu cela douloureusement concret. Dans le cadre de l'accord, les utilisateurs de la plateforme d'origine ne pourraient, semble-t-il, même plus télécharger leurs propres créations. Tout est verrouillé dans un jardin clos. Si vous avez construit la bande-son d'une campagne publicitaire sur Udio, cette bande-son peut désormais être commercialement inutilisable pour toute application hors plateforme.

J'ai vu le visage d'une directrice de création d'agence blêmir quand je lui ai expliqué cela lors d'une réunion. Elle avait six mois d'audio de campagne stockés sur une plateforme qui venait de régler un procès pour violation du droit d'auteur. Rien de tout cela ne pouvait être exporté.

La nuit où nous avons débattu du mauvais problème

Pendant un temps, mon équipe et moi étions obsédés par la mauvaise question. Nous ne cessions de demander : « Comment rendre la musique IA générative plus sûre ? » Nous avons essayé des garde-fous de requêtes. Nous avons essayé le tatouage numérique des sorties. Nous avons essayé de construire des classificateurs capables de détecter quand un morceau généré était trop proche d'un enregistrement connu.

Tout cela revenait à rafistoler une fondation défaillante.

L'argument qui a changé notre direction est né devant un tableau blanc couvert de schémas d'architecture. L'un de nos ingénieurs seniors — je l'appellerai Raj — contestait chaque garde-fou que je proposais. « Tu essaies de faire en sorte qu'un système probabiliste se comporte de manière déterministe », a-t-il dit. « C'est impossible. Tout l'intérêt de la diffusion est de reconstruire les données d'entraînement. Tu lui demandes de ne pas faire ce pour quoi il a été conçu. »

Il avait raison. Et il était exaspéré, parce qu'il le disait depuis des semaines et que je ne l'avais pas écouté.

La question n'était pas de savoir comment rendre la génération en boîte noire plus sûre. La question était : pourquoi générons-nous à partir de rien, tout court ?

Chaque client entreprise avec qui nous parlions possédait déjà des ressources audio. Ils avaient des enregistrements de démonstration. Ils avaient des morceaux libres de droits sous licence. Ils avaient des fonds de catalogue anciens. Ils n'avaient pas besoin d'un modèle pour halluciner une chanson à partir de rien. Ils avaient besoin d'un modèle pour transformer ce qu'ils possédaient déjà — changer une voix, moderniser un mixage, isoler une piste — sans rompre la chaîne de propriété du droit d'auteur.

Cette prise de conscience a donné naissance à ce que nous appelons désormais le moteur de licence à séparation de sources (Source-Separated Licensing Engine).

Qu'est-ce qu'un moteur de licence à séparation de sources ?

Au lieu de demander à une IA de générer de l'audio à partir d'une requête textuelle — ce qui oblige le modèle à parcourir un espace latent construit à partir de droits d'auteur volés — nous demandons à l'IA de faire deux choses très spécifiques et très auditables :

Premièrement, décomposer. À l'aide de la séparation de sources profonde, nous déconstruisons un morceau sous licence en ses pistes constitutives : voix, batterie, basse et tout le reste. L'IA ne crée rien. Elle isole ce qui est déjà là, comme un chirurgien qui sépare des couches de tissu.

Puis, transformer. À l'aide de la conversion de voix basée sur la récupération (RVC), nous changeons l'identité vocale sur la piste isolée. La mélodie reste. Les paroles restent. L'interprétation reste. Mais la voix — le timbre, la texture, le grain — provient d'un modèle de voix sous licence que nous avons entraîné sur des enregistrements d'un comédien de doublage ayant signé une cession commerciale.

La composition provient de l'entrée sous licence du client. La voix provient de notre modèle sous licence. Chaque ingrédient a une chaîne de titres claire. Il n'y a pas d'espace latent de droits d'auteur aspirés. Il n'y a pas d'hallucination probabiliste. Il n'y a aucun mystère sur l'origine de chaque élément.

Nous avons échangé la magie de l'hallucination contre la certitude de l'ingénierie. Et les clients entreprise ne veulent pas de magie — ils veulent des ressources qu'ils peuvent réellement posséder.

Comment fonctionne réellement la séparation de sources profonde ?

Quand vous écoutez une chanson finie, vous entendez un mélange polyphonique — voix, batterie, basse, guitares, synthés, tous superposés les uns aux autres. Une basse et une grosse caisse vivent toutes deux dans la plage 50–200 Hz. Une voix et un piano partagent la plage 500 Hz–2 kHz. Les filtres audio traditionnels ne peuvent pas les séparer sans détruire le son.

La séparation de sources profonde utilise des réseaux de neurones pour résoudre ce problème. L'audio mixé est converti en un spectrogramme — essentiellement une carte visuelle des fréquences dans le temps — et le réseau apprend à générer un « masque » pour chaque source. Voyez cela comme un pochoir : le masque indique au système quelles fréquences à quels instants appartiennent à la batterie, lesquelles à la voix, lesquelles à tout le reste. Appliquez le masque, et vous obtenez une piste isolée et propre.

Nous utilisons un ensemble des meilleures architectures — Hybrid Transformer Demucs pour capturer les motifs à longue portée comme un rythme de batterie qui se répète sur toute une chanson, et MDX-Net pour la clarté spectrale à travers les bandes de fréquences. Faire tourner plusieurs modèles et moyenner les résultats minimise le « bleeding », ces artefacts agaçants où l'on entend des batteries fantômes dans la piste vocale.

Le point juridique est ce qui compte : nous effectuons cette séparation sur des morceaux que le client possède déjà ou a mis sous licence. L'IA est un outil d'isolation, pas d'invention. Les pistes obtenues sont légalement dérivées du morceau parent sous licence.

Pourquoi la conversion de voix compte-t-elle plus que la génération de voix ?

C'est là que l'intuition de la plupart des gens les égare. Ils supposent que la partie impressionnante de l'audio IA est de générer une voix à partir de rien. Ce n'est pas le cas. La partie impressionnante — et juridiquement défendable — est de convertir une voix en une autre tout en préservant tout le reste de l'interprétation.

La RVC fonctionne en dissociant ce qui est chanté de qui le chante. Un modèle appelé HuBERT dépouille la voix source jusqu'à son contenu purement linguistique et mélodique — phonèmes, prosodie, rythme — tout en écartant l'identité du locuteur. Il anonymise l'interprétation.

Vient ensuite l'étape de récupération, qui est l'innovation clé. Au lieu de laisser un réseau de neurones deviner à quoi la voix cible devrait ressembler (ce qui produit ce lissage synthétique révélateur), le système recherche dans un index préconstruit les caractéristiques réelles de la voix cible — respirations, éraillements, formes de voyelles — et injecte de véritables fragments de caractéristiques dans l'audio converti. Le résultat sonne authentique parce qu'il l'est authentiquement. Il est construit à partir de véritables échantillons de la voix sous licence, et non d'une approximation statistique.

Enfin, un vocodeur HiFi-GAN synthétise la forme d'onde, entraîné de manière adversariale contre de vrais enregistrements du locuteur cible jusqu'à ce que la sortie soit indiscernable d'une interprétation authentique.

L'ensemble ne requiert que 30 à 60 minutes d'audio propre d'un seul locuteur pour entraîner un modèle de voix. Comparez cela à Suno ou Udio, qui ont besoin de millions de morceaux aspirés pour apprendre la « musique ». Notre approche est chirurgicale là où la leur est industrielle.

Le bouton Supprimer que les modèles en boîte noire n'ont pas

Voici quelque chose qui empêche les équipes juridiques des entreprises de dormir : si un comédien de doublage retire son consentement, ou si un accord de licence expire, pouvez-vous retirer sa contribution de votre système d'IA ?

Avec les grands modèles de type transformeur — ceux qui font tourner Suno et Udio — la réponse est de fait non. Les données d'entraînement sont cuites dans des milliards de paramètres. Retirer l'influence d'un artiste précis exige un réentraînement coûteux et risque un « oubli catastrophique », où le modèle perd des capacités bien au-delà de ce que vous vouliez retirer.

Dans notre architecture, chaque voix est un fichier distinct. Environ 50 mégaoctets. Si un comédien de doublage dit « J'arrête », nous supprimons le fichier. Le moteur de séparation continue de fonctionner. Tous les autres modèles de voix continuent de fonctionner. La conformité aux demandes de « droit à l'oubli » est instantanée et chirurgicale.

Dans un modèle en boîte noire, le désapprentissage est un problème de recherche. Dans notre architecture, c'est une touche Supprimer.

Je ne saurais trop insister sur l'importance de cela à mesure que la réglementation se durcit. Le règlement européen sur l'IA (EU AI Act) exigera de la transparence sur les données d'entraînement. La capacité à démontrer un contrôle granulaire sur chaque composant de votre pipeline d'IA n'est pas un simple atout — cela va devenir un prérequis incontournable.

Que se passe-t-il quand quelqu'un remet en question votre audio IA ?

Chaque fichier qui sort de notre pipeline porte un manifeste C2PA — une signature cryptographique de la Coalition for Content Provenance and Authenticity. Voyez cela comme une étiquette nutritionnelle numérique qui voyage avec le fichier et ne peut pas être falsifiée.

Le manifeste enregistre : le hachage de l'audio d'entrée (prouvant la dérivation d'une source sous licence), le hachage du modèle de séparation (prouvant quel outil a été utilisé), le hachage du modèle de voix (prouvant quelle voix sous licence a été appliquée), et la signature cryptographique de Veriprajna certifiant l'intégrité de toute la chaîne.

Si YouTube signale un morceau, si Spotify remet en question son statut au regard du droit d'auteur, si un concurrent prétend qu'il s'agit d'un deepfake — le client ouvre le manifeste et la provenance est là, mathématiquement vérifiable. Aucune ambiguïté. Aucun « faites-nous confiance ». Une preuve cryptographique.

Pour l'architecture technique complète du pipeline et l'intégration C2PA, j'ai publié un article de recherche détaillé qui va plus en profondeur que je ne le peux ici.

« Mais est-ce que cela ne limite pas simplement ce que l'IA peut faire ? »

Les gens me posent constamment cette question. Généralement sur un ton qui sous-entend que je suis un rabat-joie.

Ma réponse : je ne limite pas l'IA. Je limite la responsabilité. Il y a une différence.

Un générateur en boîte noire capable de produire n'importe quelle chanson à partir d'une requête textuelle est une technologie véritablement impressionnante. Je ne le nie pas. Mais une technologie impressionnante qui ne peut pas vous dire d'où proviennent ses sorties, qui ne peut pas être auditée, qui ne peut pas garantir que vous possédez ce qu'elle produit — cette technologie est un jouet grand public, pas un outil d'entreprise.

Le U.S. Copyright Office s'est montré de plus en plus clair : les œuvres purement générées par IA ne sont probablement pas protégeables par le droit d'auteur. Taper « fais une chanson de jazz » n'est pas une création d'auteur. C'est une idée, pas une expression. Ce qui signifie que si votre concurrent pille votre jingle généré par IA et l'utilise dans sa propre publicité, vous n'aurez peut-être aucun recours légal.

Notre approche préserve la protégeabilité par le droit d'auteur parce qu'il y a une piste guide créée par un humain à la base et une transformation dirigée par un humain à chaque étape. L'IA est un outil entre les mains d'un créateur, et non un créateur en soi. Cette distinction fait toute la différence entre posséder votre production et espérer que personne ne la vole.

La véritable équation des coûts

Je serai direct sur l'aspect économique, car personne d'autre dans ce domaine ne semble prêt à l'être.

S'entraîner sur des données aspirées est gratuit. La responsabilité juridique est illimitée — des dommages-intérêts légaux pouvant atteindre 150 000 $ par œuvre contrefaite. Si votre modèle a ingéré dix mille chansons, faites le calcul.

Mettre sous licence les données d'entraînement et les enregistrements de voix introduit un coût initial. Mais cela plafonne votre responsabilité à zéro. Chaque composant de la chaîne repose sur un accord signé. Chaque sortie est accompagnée d'un manifeste de provenance.

L'agence de publicité qui nous avait engagés pour cette évaluation initiale ? Elle a fait les comptes. Le coût de notre pipeline était une erreur d'arrondi comparé à une seule plainte pour violation du droit d'auteur. Et contrairement aux plateformes en boîte noire, nous pouvions réellement garantir que l'erreur d'arrondi était le coût total — et non un acompte sur un procès.

La fin du « prompt-and-pray »

Les procès de la RIAA contre Suno et Udio ne marquent pas la fin de l'audio IA. Ils marquent la fin de la phase où personne ne demandait d'où venaient les données d'entraînement. Les termes des règlements — jardins clos, restrictions de téléchargement, nouvelles plateformes sous licence — vous indiquent exactement où tout cela se dirige. Le Far West touche à sa fin.

Ce qui vient ensuite, c'est ce que nous construisons : des pipelines audio souverains où chaque artefact a une origine vérifiable, où les modèles peuvent être audités, mis à jour et supprimés au niveau du composant, où la sortie est déterministe plutôt que probabiliste, et où le client entreprise possède réellement ce qu'il a payé.

Je repense à cette nuit avec Priya et à l'envolée vocale de Mariah Carey plus souvent que je ne voudrais l'admettre. Non parce que c'était techniquement surprenant — nous savions que les modèles mémorisaient les données d'entraînement. Mais parce que cela a rendu le risque viscéral. Ce n'était pas une théorie juridique abstraite qui jouait dans nos enceintes. C'était l'œuvre de toute une vie, compressée en poids et reconstruite sans permission, prête à être livrée à un client qui n'aurait eu aucune idée de ce qu'il diffusait.

On ne peut pas bâtir une entreprise sur un système incapable de s'expliquer. Si vous ne savez pas sur quelles données le modèle a été entraîné, vous ne possédez pas la sortie. Vous ne créez pas. Vous jouez au casino.

À une époque d'incertitude synthétique, la provenance est le produit.

Nous construisons des systèmes où chaque note a un nom, où chaque voix a un contrat, et où chaque fichier porte une preuve. Ce n'est pas une limitation de l'IA. C'est à quoi ressemble l'IA quand elle est prête pour le monde réel.