MusicLM de Google est un modèle générant de la musique haute fidélité à partir de descriptions textuelles.
Encore au stade de prototype, MusicLM présente le processus de génération conditionnelle de musique comme une tâche de modélisation hiérarchique séquence à séquence. Elle peut générer des sons tels que "une mélodie de violon apaisante soutenue par un riff de guitare déformé".
Le modèle va au-delà de la création de courts segments de chansons. Les chercheurs de Google ont démontré la capacité de MusicLM à étendre les morceaux existants, qu'ils soient fredonnés, chantés, sifflés ou joués sur des instruments.
Plus le prompt est précis, plus le système est capable de composer un morceau de musique nuancée, dans des styles prédéfinis, comme un morceau de jazz ou un solo de piano.
Découvrez les différentes capacités de MusicLM de Google
MusicLM peut:
- Générer une mélodie à partir d’une description complexe
Exemple de prompt : « un morceau funky avec un rythme fort et dansant et une ligne de basse proéminente. La mélodie accrocheuse d’un clavier ajoute une couche de richesse et de complexité à la chanson » donne un son de 30 secondes.
- Générer une musique à partir de quelques notes fredonnées (ou sifflées)
Par exemple le fredonnement de « Bella Ciao » peut être transposé selon différents styles musicaux.
- Générer un son à partir d’une peinture et de sa légende
Exemple avec « La persistance de la mémoire » de Salvador Dali. Description : « l’horloge se moque de la rigidité du temps. Les montres elles-mêmes ressemblent à du fromage à pâte molle ». Dali ayant raconté que ses horloges avaient été inspirées par des hallucinations après qu'il ait mangé du camembert.
Même s’il n’est pas précurseur dans ce domaine, Google Arts & Culture travaille sur des IA liées à la musique depuis 2021, en lien avec des musiciens. Selon les ingénieurs de la firme, le procédé technique de MusicLM surpasserait les modèles précédents en matière de qualité audio et de fidélité au texte.
Entraîné à partir de plus de 280.000 heures de musique, MusicLM est encore en phase d’apprentissage. Et même si l’enchaînement des notes et des accords est déjà cohérent, il devrait progresser, laissant entrevoir un fort potentiel créatif.
Comme les autres IA génératives, cet outil ne va certainement pas manquer de soulever des questions éthiques. Cliquez ici pour la découvrir.
