MusicLM

MusicLM

MusicLM é um modelo de geração de áudio do Google Research que cria música a partir de legendas de texto a 24 kHz. A página pública de exemplos hospeda clipes de amostra para comandos como trilhas sonoras de arcade, fusões de reggaeton-EDM e jazz relaxante, além de gerações mais longas no modo história que mudam de estilo ao longo de segmentos temporizados. O Google lançou o conjunto de dados MusicCaps com 5.500 pares de música-texto junto com o artigo.

Diferente de aplicativos para consumidores que oferecem uma única caixa de comando, o MusicLM foi publicado como uma demonstração de pesquisa com amostras pré-geradas, e não como um produto com login. Seu truque principal é o condicionamento conjunto de texto e melodia: você pode cantarolar ou assobiar uma melodia e fazer o modelo regravá-la em um novo gênero descrito em texto. O modo história encadeia múltiplas legendas para que a música evolua ao longo das seções.

O MusicLM é importante como base de pesquisa para os modelos musicais Lyria posteriores do Google, mas esta página é para ouvir exemplos publicados, não para criar novas faixas interativamente. Pesquisadores e músicos o estudam pela consistência em longas durações, condicionamento de pintura para música e resultados de transferência de melodia documentados no artigo de 2023.

Recursos Principais:
  1. Gera música a 24 kHz a partir de legendas de texto enriquecido

  2. Modo história encadeia múltiplos prompts de texto em segmentos temporizados

  3. Condicionamento de texto e melodia transforma melodias assobiadas ou assobiadas em novos estilos

  4. Condicionamento de legenda de pintura combina descrições de obras de arte com áudio gerado

  5. Exemplos de geração longa cobrem techno melódico, swing e jazz relaxante

  6. O conjunto de dados MusicCaps inclui 5.500 pares de música e texto escritos por especialistas

Pros:
  1. Saída de 24 kHz e consistência de vários minutos estavam à frente da maioria dos sistemas de texto-para-música de 2023.

  2. Condicionamento de melodia permite que pesquisadores reestilizem melodias assobiadas com legendas de texto.

  3. Modo história demonstra transições controláveis de forma longa ao longo de sequências de prompts.

  4. O conjunto de dados MusicCaps forneceu à comunidade de pesquisa 5.500 pares de música e texto rotulados.

Cons:
  1. Sem interface de geração interativa; os usuários só podem reproduzir amostras de pesquisa hospedadas.

  2. As ferramentas de música para consumidores do Google foram transferidas para a família Lyria, em vez desta página de demonstração.

  3. A página de exemplos é um artefato de pesquisa estático, não um produto mantido com suporte.

Perguntas frequentes:

O que é MusicLM?

MusicLM é um modelo do Google Research que gera música de alta fidelidade a partir de descrições em texto. Ele usa modelagem hierárquica sequência a sequência para produzir áudio de 24 kHz que se mantém consistente por vários minutos.

Posso criar música nova com MusicLM online?

A página de exemplos do MusicLM hospeda amostras de áudio pré-geradas da pesquisa do Google. É um site de demonstração, não um aplicativo interativo de criação musical onde os usuários enviam seus próprios comandos.

O MusicLM aceita entrada de melodia?

Sim. O MusicLM pode ser condicionado tanto por texto quanto por uma melodia, transformando assobios ou cantos em novos gêneros como jazz, ópera ou sintetizadores eletrônicos descritos na legenda.

O que é MusicCaps no MusicLM?

MusicCaps é um conjunto de dados com 5.500 pares de música e texto com descrições detalhadas escritas por especialistas humanos. O Google Research o lançou junto com o MusicLM para apoiar pesquisas futuras em geração de áudio.

O MusicLM é gratuito?

A página de exemplos da pesquisa MusicLM é gratuita para navegação. O Google não lançou o MusicLM como um produto pago para consumidores; ferramentas musicais posteriores usam a família de modelos Lyria no Google Flow Music e Gemini.

Como funciona o modo história do MusicLM?

O modo história do MusicLM recebe uma sequência de comandos de texto com carimbos de tempo, como música para meditação seguida de corrida. Cada legenda influencia como o modelo continua a partir dos tokens semânticos derivados da seção anterior.

Preços:

Gratuito

Tags:

Text to Music
Google Research
Melody Conditioning
MusicCaps Dataset
Research Demo
Long-Form Audio
AI Music
AI Voice

Tecnologia utilizada:

Bootstrap
jQuery
Google Cloud
Ruby
GitHub
Tailwind CSS

Avaliações:

Give your opinion on MusicLM :-

Overall rating

Join thousands of AI enthusiasts in the World of AI!

Melhor Gratuito MusicLM Alternativas (e Pagas)

By Rishit