Vaani

Vaani est une plateforme de doublage par IA qui produit de la vidéo localisée sans exiger de réenregistrer un narrateur. Elle prend une vidéo source, clone la voix de la personne qui y parle, traduit le script et génère un MP4 final où la voix clonée est mixée à la musique et aux effets d'origine. Comme le modèle vocal est construit à partir de l'audio source lui-même, quelques secondes de parole face caméra suffisent généralement pour le cloner.

La couche de traduction est sensible à la scène et non ligne par ligne : le modèle lit le contexte visuel de chaque plan pour que les expressions, références culturelles et tonalités s'adaptent au contenu affiché. Vaani couvre 13 langues indiennes — hindi, tamoul, télougou, kannada, malayalam, bengali, marathi, gujarati, pendjabi, ourdou, odia, sanskrit et népalais — plus 27 langues mondiales, dont l'espagnol, le français, l'allemand, le japonais, le coréen, le mandarin, l'arabe, le portugais et l'italien. La transcription inclut la diarisation des locuteurs pour que les séquences à plusieurs voix restent distinctes, et chaque ligne peut être relue ou modifiée avant le rendu.

Le lip-sync est optionnel et destiné aux plans face caméra. Le découpage par reconnaissance faciale fait que seules les images où un visage est visible sont facturées, tandis que le B-roll et les coupes passent sans modification. Deux moteurs sont disponibles : le lip-sync Normal basé sur Replicate sync/lipsync-2 pour les travaux sensibles au coût, et le lip-sync Pro basé sur sync.so sync-3 pour des contours plus nets, des angles de profil et une meilleure robustesse aux coupes rapides. La plateforme sert créateurs, diffuseurs, plateformes OTT, entreprises EdTech, éditeurs d'actualité et studios, et propose une API REST et des webhooks à partir de l'offre Studio, avec des déploiements entreprise prenant en charge l'on-premise ou le cloud privé, des bibliothèques de voix personnalisées, des SLA, le SSO et la journalisation d'audit.