Vaani

Vaani es una plataforma de doblaje con IA que produce vídeo localizado sin pedirte que vuelvas a grabar un narrador. Toma un vídeo de origen, clona la voz de la persona que habla en él, traduce el guion y renderiza un MP4 final con la voz clonada mezclada con la música y los efectos originales. Como el modelo de voz se construye a partir del propio audio de origen, unos segundos de alguien hablando de frente suelen bastar para clonarlo.

La capa de traducción es consciente de la escena y no línea a línea: el modelo lee el contexto visual de cada plano para que modismos, referencias culturales y tono se adapten a lo que se ve en pantalla. Vaani cubre 13 lenguas índicas —hindi, tamil, telugu, kannada, malayalam, bengalí, maratí, gujarati, panyabí, urdu, odia, sánscrito y nepalí— más 27 idiomas globales, entre ellos español, francés, alemán, japonés, coreano, mandarín, árabe, portugués e italiano. La transcripción incluye diarización de hablantes para que el material con varios hablantes conserve cada voz diferenciada, y cada línea puede revisarse o editarse antes de renderizar.

El lip-sync es opcional y se orienta a material hablando de frente. El troceado por reconocimiento facial hace que solo se facturen los fotogramas donde aparece un rostro, mientras que el B-roll y los cortes pasan sin tocarse. Hay dos motores: lip-sync Normal sobre Replicate sync/lipsync-2 para trabajos sensibles al coste, y lip-sync Pro sobre sync.so sync-3 para bordes más definidos, ángulos de perfil y robustez ante cortes rápidos. La plataforma sirve a creadores, radiodifusores, plataformas OTT, empresas de EdTech, editores de noticias y estudios, y ofrece API REST y webhooks desde el plan Studio en adelante, con despliegues empresariales que admiten on-premise o nube privada, bibliotecas de voz personalizadas, SLA, SSO y registros de auditoría.