Vaani

A Vaani é uma plataforma de dublagem com IA que produz vídeo localizado sem exigir que você regrave um narrador. Ela recebe um vídeo de origem, clona a voz da pessoa que fala nele, traduz o roteiro e renderiza um MP4 final com a voz clonada mixada à trilha e aos efeitos originais. Como o modelo de voz é construído a partir do próprio áudio de origem, alguns segundos de alguém falando de frente costumam bastar para a clonagem.

A camada de tradução é ciente da cena, e não linha a linha: o modelo lê o contexto visual de cada plano para que expressões idiomáticas, referências culturais e tom se adaptem ao que está na tela. A Vaani cobre 13 línguas indianas — híndi, tâmil, telugu, canarês, malaiala, bengali, marata, guzerate, panjabi, urdu, odia, sânscrito e nepalês — além de 27 idiomas globais, incluindo espanhol, francês, alemão, japonês, coreano, mandarim, árabe, português e italiano. A transcrição inclui diarização de falantes para que material com várias pessoas preserve cada voz distinta, e cada linha pode ser revisada ou editada antes da renderização.

O lip-sync é opcional e voltado a material falando de frente. O fatiamento por reconhecimento facial faz com que apenas quadros com rosto sejam cobrados, enquanto B-roll e cortes passam sem alteração. Há dois motores: lip-sync Normal sobre o Replicate sync/lipsync-2 para trabalhos sensíveis a custo, e lip-sync Pro sobre o sync.so sync-3 para bordas mais nítidas, ângulos de perfil e robustez em cortes rápidos. A plataforma atende criadores, emissoras, plataformas de OTT, empresas de EdTech, publishers de notícias e estúdios, e oferece API REST e webhooks a partir do plano Studio, com implantações corporativas que suportam on-premise ou nuvem privada, bibliotecas de voz personalizadas, SLAs, SSO e registros de auditoria.