Whisper API vs MusicLM

Whisper API é um serviço hospedado de conversão de voz em texto baseado no modelo Whisper Large V3 da OpenAI. Você envia áudios de podcasts, reuniões ou vídeos e recebe o texto de volta através de um endpoint REST que segue o mesmo formato de requisição da API de transcrição da OpenAI. O produto é operado pela Lemonfox.ai, e o site afirma que não tem afiliação com a OpenAI.

A integração é rápida. A API aceita arquivos enviados ou URLs de áudios remotos, pode identificar múltiplos falantes em uma gravação e suporta transcrição em mais de 100 idiomas. Traduções para o inglês e resumos de texto também estão disponíveis através de modelos relacionados na plataforma.

A cobrança é baseada no uso, e não em planos fixos mensais. Novos cadastros recebem o primeiro mês grátis, com 30 horas de transcrição incluídas, depois cobram $0,17 por hora de áudio processado. A página inicial inclui exemplos de curl mostrando como passar parâmetros de idioma, etiquetas de falantes e formato da resposta.

Desenvolvedores de backend que integram transcrição em aplicativos são o público principal, junto com equipes que processam conteúdo gravado em grande escala. Se você não está construindo software, o site possui link para Transcripo, uma ferramenta de reconhecimento de fala via navegador, sem necessidade de codificação.

O Google Introduce Musiclm, um modelo que gera música de alta fidelidade a partir de descrições de texto como "uma melodia de violino calmante apoiada por um riff de guitarra distorcido".

O Musiclm lança o processo de geração de música condicional como uma tarefa de modelagem hierárquica de sequência para sequência e gera música a 24 kHz que permanece consistente ao longo de vários minutos.