SpeechGPT vs MusicLM

SpeechGPT permite que você mantenha conversas por voz no navegador usando sua própria chave de API OpenAI. Você digita ou grava mensagens, envia-as por meio de uma interface de chat e ouve respostas faladas sem precisar instalar software no computador.

Diferente dos serviços de TTS hospedados que incluem os custos do modelo em uma assinatura, o SpeechGPT roda no navegador e cobra apenas pelas contas OpenAI, Azure Speech Services ou Amazon Polly que você conectar. Isso o torna uma opção leve para desenvolvedores e estudantes de idiomas que já possuem acesso à API e querem uma interface simples de chat por voz.

A interface suporta rótulos de UI em inglês, espanhol e chinês, inclui um botão de gravação para entrada por voz e armazena os dados da sessão localmente no navegador. É adequado para desenvolvedores testando fluxos de chat por voz, estudantes de idiomas praticando comandos falados e qualquer pessoa que queira um cliente de voz ChatGPT minimalista no celular ou desktop.

MusicLM é um modelo de geração de áudio do Google Research que cria música a partir de legendas de texto a 24 kHz. A página pública de exemplos hospeda clipes de amostra para comandos como trilhas sonoras de arcade, fusões de reggaeton-EDM e jazz relaxante, além de gerações mais longas no modo história que mudam de estilo ao longo de segmentos temporizados. O Google lançou o conjunto de dados MusicCaps com 5.500 pares de música-texto junto com o artigo.

Diferente de aplicativos para consumidores que oferecem uma única caixa de comando, o MusicLM foi publicado como uma demonstração de pesquisa com amostras pré-geradas, e não como um produto com login. Seu truque principal é o condicionamento conjunto de texto e melodia: você pode cantarolar ou assobiar uma melodia e fazer o modelo regravá-la em um novo gênero descrito em texto. O modo história encadeia múltiplas legendas para que a música evolua ao longo das seções.

O MusicLM é importante como base de pesquisa para os modelos musicais Lyria posteriores do Google, mas esta página é para ouvir exemplos publicados, não para criar novas faixas interativamente. Pesquisadores e músicos o estudam pela consistência em longas durações, condicionamento de pintura para música e resultados de transferência de melodia documentados no artigo de 2023.