Altered Studio vs MusicLM

Altered Studio transforma fala gravada ou ao vivo em vozes personalizadas ou selecionadas para produção de mídia e chamadas em tempo real. Seu motor de fala para fala roda no navegador ou localmente em Windows e Mac, com um aplicativo separado Real-Time Pro para jogos, call centers e restauração de voz durante chamadas de vídeo.

A maioria dos moduladores de voz troca qualidade por latência ou o contrário. Altered divide a pilha: a morphing para produção de mídia visa qualidade de gravação em GPUs com refinamentos pós-edição, enquanto o Real-Time Pro usa de 1 a 4 núcleos de CPU para skins de baixa latência, tradução de sotaques e suporte Euphonia para disfonia e disfluências.

Podcasters, estúdios de jogos e equipes de call center o utilizam para dublar cenas com múltiplos personagens, trocar sotaques em chamadas ao vivo e limpar diálogos com ruído. A página Studio oferece transcrição em mais de 75 idiomas, tradução e narração por texto para fala em mais de 70 idiomas de grandes provedores em um único editor.

MusicLM é um modelo de geração de áudio do Google Research que cria música a partir de legendas de texto a 24 kHz. A página pública de exemplos hospeda clipes de amostra para comandos como trilhas sonoras de arcade, fusões de reggaeton-EDM e jazz relaxante, além de gerações mais longas no modo história que mudam de estilo ao longo de segmentos temporizados. O Google lançou o conjunto de dados MusicCaps com 5.500 pares de música-texto junto com o artigo.

Diferente de aplicativos para consumidores que oferecem uma única caixa de comando, o MusicLM foi publicado como uma demonstração de pesquisa com amostras pré-geradas, e não como um produto com login. Seu truque principal é o condicionamento conjunto de texto e melodia: você pode cantarolar ou assobiar uma melodia e fazer o modelo regravá-la em um novo gênero descrito em texto. O modo história encadeia múltiplas legendas para que a música evolua ao longo das seções.

O MusicLM é importante como base de pesquisa para os modelos musicais Lyria posteriores do Google, mas esta página é para ouvir exemplos publicados, não para criar novas faixas interativamente. Pesquisadores e músicos o estudam pela consistência em longas durações, condicionamento de pintura para música e resultados de transferência de melodia documentados no artigo de 2023.