MusicLM

MusicLM

MusicLM est un modèle de génération audio de Google Research qui crée de la musique à partir de légendes textuelles à 24 kHz. La page d'exemples publics héberge des extraits pour des invites telles que des bandes-son d'arcade, des fusions reggaeton-EDM et du jazz relaxant, ainsi que des générations plus longues en mode histoire qui changent de style selon des segments temporels. Google a publié le jeu de données MusicCaps de 5 500 paires musique-texte en même temps que l'article.

Contrairement aux applications grand public qui proposent une seule zone de saisie, MusicLM a été publié comme une démo de recherche avec des échantillons pré-générés plutôt qu'un produit nécessitant une connexion. Son astuce principale est la condition conjointe texte et mélodie : vous pouvez fredonner ou siffler un air et le modèle le recompose dans un nouveau genre décrit par texte. Le mode histoire enchaîne plusieurs légendes pour que la musique évolue au fil des sections.

MusicLM est important comme base de recherche derrière les modèles musicaux Lyria ultérieurs de Google, mais cette page sert à écouter des exemples publiés, pas à créer de nouveaux morceaux de manière interactive. Chercheurs et musiciens l'étudient pour la cohérence sur le long terme, la condition peinture-à-musique et les résultats de transfert de mélodie documentés dans l'article de 2023.

Fonctionnalités principales:
  1. Génère de la musique à 24 kHz à partir de légendes en texte enrichi

  2. Le mode histoire enchaîne plusieurs invites de texte sur des segments chronométrés

  3. La conditionnement texte-et-mélodie transforme des airs sifflés ou fredonnés en nouveaux styles

  4. Le conditionnement de légendes de peinture associe descriptions d'œuvres d'art et audio généré

  5. Les exemples de longue génération couvrent le techno mélodique, le swing et le jazz relaxant

  6. Le dataset MusicCaps comprend 5 500 paires musique-texte annotées par des experts

Pros:
  1. Sortie à 24 kHz et cohérence sur plusieurs minutes étaient en avance sur la plupart des systèmes de génération de musique en 2023.

  2. Le conditionnement mélodique permet aux chercheurs de re-styliser des airs sifflés avec des légendes en texte.

  3. Le mode histoire montre des transitions contrôlables sur de longues séquences de prompts.

  4. Le dataset MusicCaps a fourni à la communauté de recherche 5 500 paires musique-texte étiquetées.

Cons:
  1. Pas d'interface de génération interactive ; les utilisateurs ne peuvent que lire des échantillons de recherche hébergés.

  2. Les outils musicaux grand public de Google sont passés à la famille Lyria plutôt qu'à cette page de démo.

  3. La page d'exemples est un artefact de recherche statique, pas un produit maintenu avec support.

FAQ:

Qu'est-ce que MusicLM ?

MusicLM est un modèle de Google Research qui génère de la musique haute fidélité à partir de descriptions textuelles. Il utilise une modélisation hiérarchique séquence-à-séquence pour produire un audio à 24 kHz qui reste cohérent sur plusieurs minutes.

Puis-je créer de la musique avec MusicLM en ligne ?

La page d'exemples MusicLM héberge des échantillons audio pré-générés issus des recherches de Google. C'est un site de démonstration, pas une application interactive de création musicale où les utilisateurs soumettent leurs propres instructions.

MusicLM prend-il en charge l'entrée de mélodie ?

Oui. MusicLM peut être conditionné à la fois par du texte et une mélodie, transformant des airs sifflés ou fredonnés en nouveaux genres comme le jazz, l'opéra ou des leads synthétiques électroniques décrits dans la légende.

Qu'est-ce que MusicCaps dans MusicLM ?

MusicCaps est un ensemble de données de 5 500 paires musique-texte avec des descriptions riches rédigées par des experts humains. Google Research l'a publié avec MusicLM pour soutenir les futures recherches en génération audio.

MusicLM est-il gratuit ?

La page d'exemples de recherche MusicLM est gratuite à consulter. Google n'a pas lancé MusicLM comme produit consommateur payant ; les outils musicaux ultérieurs utilisent la famille de modèles Lyria dans Google Flow Music et Gemini.

Comment fonctionne le mode histoire de MusicLM ?

Le mode histoire de MusicLM alimente une séquence d'instructions textuelles avec des horodatages, comme méditation puis musique de course. Chaque légende influence la manière dont le modèle continue à partir des tokens sémantiques dérivés de la section précédente.

Catégorie:

Tarification:

Gratuit

Tags:

Text to Music
Google Research
Melody Conditioning
MusicCaps Dataset
Research Demo
Long-Form Audio
AI Music
AI Voice

Technologie utilisée:

Bootstrap
jQuery
Google Cloud
Ruby
GitHub
Tailwind CSS

Commentaires:

Give your opinion on MusicLM :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Meilleur Gratuit MusicLM Alternatives (et Payées)

By Rishit