Meta lance un générateur de musique AI open-source

Meta nous donne un aperçu de l’avenir avec MusicGen, un nouveau modèle d’IA open source qui peut cracher de courtes chansons en fonction de votre contribution. Bien qu’il soit loin d’être un produit fini, MusicGen est impressionnant et vous pouvez conditionner l’IA avec une mélodie existante pour améliorer ses résultats.

Pour tester l’IA MusicGen, il vous suffit de visiter le site Web de Hugging Face, d’attendre que le modèle se charge et de commencer à frapper. MusicGen s’appuie sur la saisie de texte, vous devez donc décrire exactement ce que vous voulez entendre – une piste R&B des années 90 avec un vibraphone, par exemple, ou une chanson de métal avec un rythme cumbia.

L’IA crache une piste qui ne dure que 12 secondes, et bien sûr, les résultats sont extrêmement incohérents. Les invites simples semblent mieux fonctionner. Et si vous voulez être très précis avec l’IA, vous pouvez lui donner un fichier musical pour une chanson existante. L’IA se « conditionnera » alors sur la mélodie de la chanson, bien qu’elle n’enregistre aucune chanson téléchargée dans sa base de données.

Nous présentons MusicGen : Un modèle de génération de musique simple et contrôlable. MusicGen peut être invité à la fois par du texte et par une mélodie.
Nous publions du code (MIT) et des modèles (CC-BY NC) pour la recherche ouverte, la reproductibilité et pour la communauté musicale : https://t.co/OkYjL4xDN7 pic.twitter.com/h1l4LGzYgf

– Félix Kreuk (@FelixKreuk) 9 juin 2023

Comme MusicLM AI de Google, que nous avons testé le mois dernier, la sortie de MusicGen peut sembler un peu aqueuse, brumeuse ou maculée. Les instruments n’ont pas une tonne de définition, surtout lorsque vous donnez à l’IA une invite ambitieuse. D’après mes tests, l’IA fait rarement du bon travail avec tous les « instruments » qu’elle joue, bien qu’elle ait généralement un ou deux instruments bien définis et nets.

Invite : hip-hop des années 90 avec un vibraphone (basse désordonnée et peu claire.)

Invite : Hair Metal with a Cumbia Rhythm (Je ne suis pas sûr de ce à quoi je m’attendais. Plutôt cool.)

Meta dit que MusicGen a été formé sur 20 000 heures de autorisé musique, y compris les pistes des bibliothèques Shutterstock et Pond5 – il est important de garder à l’esprit, car la musique de stock a tendance à avoir une certaine ambiance et se penche généralement vers les genres électroniques, hip-hop, classiques et country. Je suis sûr que l’ensemble de données de l’IA contient une variété de pistes très différentes, mais il peut gérer certains genres mieux que d’autres.

Vous pouvez tester MusicGen sur le site Web de Hugging Face (bien que le chargement du programme puisse prendre un certain temps). Ou visitez le GitHub pour une approche plus pratique de ce modèle d’IA.

Source : Méta via Félix Kreuk