ChatTTS vs VALL-E

ChatTTS é um modelo de texto-para-fala de código aberto, criado para diálogos. A equipe 2Noise treinou-o com mais de 100.000 horas de fala em chinês e inglês, para que soe natural em conversas trocadas, e não apenas em narração roteirizada.

O que o diferencia é o controle de prosódia em um nível granular. O modelo pode acrescentar risadas, pausas e interjeições, além de lidar com múltiplos falantes em uma única sessão. Isso o torna adequado para assistentes com LLM, áudio conversacional e multimídia com diálogos intensos.

Desenvolvedores podem instalá-lo via pip ou clonando o repositório no GitHub. A versão de código aberto disponível no Hugging Face é um modelo base de 40.000 horas, sob licença AGPLv3+. A equipe o posiciona para usos em pesquisa e diálogo, com contato em [email protected] para perguntas sobre o roteiro de desenvolvimento.

A VALL-E desenvolveu uma função de aprendizado com conhecimento de contexto que pode ser usada para sintetizar discurso personalizado de alta qualidade, simplesmente registrando um orador invisível por 3 segundos como um prompt de voz. Os resultados experimentais mostram que o Vall-E supera significativamente os sistemas TTS de tiro zero de última geração em termos de naturalidade da fala e similaridade dos alto-falantes. Além disso, descobrimos que o Vall-E pode preservar as emoções do falante e o ambiente acústico das instruções acústicas durante a síntese.