Moshi AI vs MusicLM

Moshi AI est un modèle conversationnel natif à la parole développé par Kyutai, un laboratoire de recherche open-science basé à Paris. Au lieu de chaîner la reconnaissance vocale, la génération de texte et la synthèse vocale, Moshi traite directement l'audio et mène des conversations vocales en duplex intégral avec une latence minimale.

Sa conception multi-flux exécute des canaux séparés pour l'utilisateur, la sortie vocale de Moshi, et un flux de texte Monologue intérieur qui améliore la cohérence. Cette configuration permet à Moshi d'écouter et de parler en même temps, de gérer les chevauchements, les interruptions et la réponse en arrière-plan comme lors d'une vraie conversation, plutôt que des tours de parole rigides.

Moshi est construit sur Helium, un modèle linguistique de 7 milliards de paramètres, et Mimi, le codec audio neuronal de Kyutai. Les poids et le code d'inférence sont disponibles pour PyTorch, Rust, et MLX, et vous pouvez l'essayer dans le navigateur sur moshi-chat.kyutai.org. Les chercheurs, les développeurs d'IA vocale, et toute personne créant des interfaces vocales en temps réel y trouveront le plus de valeur.

MusicLM est un modèle de génération audio de Google Research qui crée de la musique à partir de légendes textuelles à 24 kHz. La page d'exemples publics héberge des extraits pour des invites telles que des bandes-son d'arcade, des fusions reggaeton-EDM et du jazz relaxant, ainsi que des générations plus longues en mode histoire qui changent de style selon des segments temporels. Google a publié le jeu de données MusicCaps de 5 500 paires musique-texte en même temps que l'article.

Contrairement aux applications grand public qui proposent une seule zone de saisie, MusicLM a été publié comme une démo de recherche avec des échantillons pré-générés plutôt qu'un produit nécessitant une connexion. Son astuce principale est la condition conjointe texte et mélodie : vous pouvez fredonner ou siffler un air et le modèle le recompose dans un nouveau genre décrit par texte. Le mode histoire enchaîne plusieurs légendes pour que la musique évolue au fil des sections.

MusicLM est important comme base de recherche derrière les modèles musicaux Lyria ultérieurs de Google, mais cette page sert à écouter des exemples publiés, pas à créer de nouveaux morceaux de manière interactive. Chercheurs et musiciens l'étudient pour la cohérence sur le long terme, la condition peinture-à-musique et les résultats de transfert de mélodie documentés dans l'article de 2023.