Happy Horse

Happy Horse 1.0 est un modèle d'IA open-source conçu pour générer du contenu vidéo et audio synchronisé à partir de textes ou d'images. Il utilise une architecture Transformer unifiée avec 15 milliards de paramètres, lui permettant de produire des clips cinématographiques en 1080p avec une synchronisation labiale multilingue naturelle en sept langues. Le modèle cible les développeurs, chercheurs et entreprises souhaitant créer du contenu vidéo de haute qualité avec un son synchronisé, sans dépendre du doublage en post-production.

La valeur unique du modèle réside dans ses capacités de génération conjointe de vidéo et d'audio, incluant dialogues, sons d'ambiance et effets Foley générés simultanément. Cette intégration réduit la nécessité d'un montage audio séparé et garantit un meilleur alignement entre les visuels et le son. Son aspect open-source et ses droits d'utilisation commerciale permettent aux utilisateurs de l'auto-héberger, de l'ajuster et de le déployer sur leur propre infrastructure, offrant ainsi flexibilité et contrôle.

D'un point de vue technique, Happy Horse 1.0 est construit sur un Transformer d'auto-attention de 40 couches avec des couches spécifiques à chaque modalité à chaque extrémité et des couches partagées au centre. Il utilise un processus de distillation de débruitage en 8 étapes qui accélère l'inférence sans sacrifier la qualité. Le modèle supporte la quantification FP8 pour réduire la consommation de mémoire, permettant un déploiement sur des GPU haute performance comme le NVIDIA H100 ou A100 avec au moins 48 Go de VRAM.

Les benchmarks montrent que Happy Horse excelle en qualité visuelle, en alignement des prompts et en réalisme physique par rapport à d'autres modèles open source, tout en ayant le taux d'erreur de mots le plus faible dans la synchronisation labiale. Il supporte l'anglais, le mandarin, le cantonais, le japonais, le coréen, l'allemand et le français, ce qui le rend adapté aux applications mondiales. L'équipe derrière Happy Horse insiste sur la transparence, en publiant des rapports techniques détaillés et du code d'inférence pour soutenir la reproductibilité et une utilisation responsable.

Dans l'ensemble, Happy Horse 1.0 offre une solution puissante, flexible et ouverte pour générer du contenu vidéo et audio synchronisé, idéale pour les réseaux sociaux, la publicité et les projets cinématographiques où la qualité et la précision de la synchronisation labiale sont cruciales.