Aimi.fm vs VALL-E

Aimi.fm crée de la musique libre de droits à partir de stems d'artistes sous licence au lieu de récupérer des enregistrements protégés par le droit d'auteur, puis distribue ce moteur via Aimi Sync pour le scoring vidéo. Téléchargez un clip, et Sync analyse les scènes image par image pour composer une bande sonore assortie avec des options de voix, de narration et des stems téléchargeables. La page d'accueil publique annonce une relance, mais les tarifs de Sync, la documentation et la page à propos montrent que l'entreprise continue de fournir des outils pour les créateurs et développeurs.

Alors que les générateurs basés uniquement sur des prompts produisent des clips statiques, Aimi Sync considère votre vidéo comme le prompt et ajuste le timing à chaque coupure de scène. La musique provient du Sonic Vault, une collection d'échantillons enregistrés par des humains orchestrés par Aimi Script et le moteur AMOS, avec un registre consignant chaque placement de stem pour les paiements aux artistes. Ce modèle centré sur l'échantillon explique pourquoi Aimi.fm revendique plus de 60 brevets et se positionne contre les outils entraînés sur les catalogues des grandes maisons de disques.

Les créateurs vidéo réalisant des Reels, tutoriels et travaux clients bénéficient d'exports illimités sur les formules payantes, avec un plan gratuit pour des clips d'une minute. Les musiciens indépendants peuvent télécharger des stems dans le Sonic Vault et gagner des revenus grâce à une micro-utilisation. Les développeurs peuvent demander l'API Sync pour intégrer des bandes sonores conscientes des scènes et libres de droits dans des applications sans gérer eux-mêmes les licences.

VALL-E est un modèle de synthèse vocale de Microsoft Research qui clone la voix d'un locuteur à partir d'un court extrait audio et génère un nouveau discours à partir de texte. Il appartient à la catégorie de la génération audio car il synthétise un discours naturel plutôt que d'éditer des enregistrements existants. La page du projet héberge des exemples audio pour le modèle original VALL-E et ses variantes ultérieures dans la même famille de recherche.

La plupart des systèmes de synthèse vocale régressent directement des formes d'onde continues ou des mél-spectrogrammes. VALL-E considère plutôt la parole comme une tâche de modélisation linguistique conditionnelle sur des codes discrets issus d'un codec audio neuronal. Microsoft l'a entraîné sur environ 60 000 heures de discours en anglais, bien plus que les ensembles de données TTS habituels. Un enregistrement de 3 secondes d'un locuteur inconnu suffit pour une synthèse zéro-shot, et le modèle peut conserver l'émotion et l'ambiance de la pièce présentes dans cet extrait.

La famille VALL-E s'est étendue au-delà du premier article. VALL-E X gère la synthèse vocale zéro-shot multilingue, VALL-E R ajoute un alignement monotone des phonèmes pour une génération de discours plus stable, et VALL-E 2 associe un échantillonnage conscient de la répétition à une modélisation groupée des codes pour atteindre la parité humaine sur les benchmarks LibriSpeech et VCTK. Des variantes comme MELLE, FELLE et PALLE explorent les tokens mél continus et un décodage hybride autoregressif plus parallèle.

Chercheurs, ingénieurs du son et auditeurs curieux utilisent VALL-E pour découvrir ce que les grands modèles linguistiques de codec peuvent faire avant de construire leurs propres chaînes. Les exemples publics sont des démonstrations de recherche, pas une API hébergée que l'on peut intégrer dans un produit sans licence et revue éthique séparées.