Serp AI vs MusicLM

Serp AI é um assistente de voz e áudio que você executa na sua própria máquina. O seu projeto open-source SERPy escuta comandos falados e responde através de um grande modelo de linguagem, com uma voz sintética que você mesmo escolhe.

Comparado com assistentes em nuvem vinculados a uma pilha de um único fornecedor, o SERPy é um projeto do GitHub auto-hospedado da organização serp-ai com memória conversacional que se adapta aos seus hábitos ao longo do tempo. A página de marketing original em serp.ai/tools/ai-voice-assistant agora retorna 404, portanto o repositório é a casa ativa para instalações e documentação.

O SERPy visa desenvolvedores e entusiastas que desejam um assistente de desktop estilo Jarvis que possam modificar. O README aponta para um link de download gratuito e vídeos de demonstração, e as tags do repositório cobrem casos de uso de ativação por voz, agendamento, e-mail e assistente de escrita.

MusicLM é um modelo de geração de áudio do Google Research que cria música a partir de legendas de texto a 24 kHz. A página pública de exemplos hospeda clipes de amostra para comandos como trilhas sonoras de arcade, fusões de reggaeton-EDM e jazz relaxante, além de gerações mais longas no modo história que mudam de estilo ao longo de segmentos temporizados. O Google lançou o conjunto de dados MusicCaps com 5.500 pares de música-texto junto com o artigo.

Diferente de aplicativos para consumidores que oferecem uma única caixa de comando, o MusicLM foi publicado como uma demonstração de pesquisa com amostras pré-geradas, e não como um produto com login. Seu truque principal é o condicionamento conjunto de texto e melodia: você pode cantarolar ou assobiar uma melodia e fazer o modelo regravá-la em um novo gênero descrito em texto. O modo história encadeia múltiplas legendas para que a música evolua ao longo das seções.

O MusicLM é importante como base de pesquisa para os modelos musicais Lyria posteriores do Google, mas esta página é para ouvir exemplos publicados, não para criar novas faixas interativamente. Pesquisadores e músicos o estudam pela consistência em longas durações, condicionamento de pintura para música e resultados de transferência de melodia documentados no artigo de 2023.