ChatTTS vs MusicLM

ChatTTS é um modelo de texto-para-fala de código aberto, criado para diálogos. A equipe 2Noise treinou-o com mais de 100.000 horas de fala em chinês e inglês, para que soe natural em conversas trocadas, e não apenas em narração roteirizada.

O que o diferencia é o controle de prosódia em um nível granular. O modelo pode acrescentar risadas, pausas e interjeições, além de lidar com múltiplos falantes em uma única sessão. Isso o torna adequado para assistentes com LLM, áudio conversacional e multimídia com diálogos intensos.

Desenvolvedores podem instalá-lo via pip ou clonando o repositório no GitHub. A versão de código aberto disponível no Hugging Face é um modelo base de 40.000 horas, sob licença AGPLv3+. A equipe o posiciona para usos em pesquisa e diálogo, com contato em [email protected] para perguntas sobre o roteiro de desenvolvimento.

O Google Introduce Musiclm, um modelo que gera música de alta fidelidade a partir de descrições de texto como "uma melodia de violino calmante apoiada por um riff de guitarra distorcido".

O Musiclm lança o processo de geração de música condicional como uma tarefa de modelagem hierárquica de sequência para sequência e gera música a 24 kHz que permanece consistente ao longo de vários minutos.