Vaani

Vaani ist eine KI-Synchronisationsplattform, die lokalisiertes Video liefert, ohne dass ein Sprecher neu aufgenommen werden muss. Sie nimmt ein Quellvideo, klont die Stimme der darin sprechenden Person, übersetzt das Transkript und rendert eine fertige MP4-Datei, in der die geklonte Stimme mit Originalmusik und -effekten gemischt wird. Da das Stimmodell aus dem Quellaudio selbst entsteht, reichen meist wenige Sekunden frontaler Sprachaufnahme zum Klonen.

Die Übersetzungsschicht arbeitet szenebewusst statt Satz für Satz: Das Modell liest den visuellen Kontext jeder Einstellung, damit Redewendungen, kulturelle Bezüge und Ton sich dem anpassen, was auf dem Bildschirm zu sehen ist. Vaani deckt 13 indische Sprachen ab – Hindi, Tamil, Telugu, Kannada, Malayalam, Bengalisch, Marathi, Gujarati, Punjabi, Urdu, Odia, Sanskrit und Nepali – plus 27 globale Sprachen, darunter Spanisch, Französisch, Deutsch, Japanisch, Koreanisch, Mandarin, Arabisch, Portugiesisch und Italienisch. Die Transkription enthält Sprechertrennung, damit Material mit mehreren Sprechern jede Stimme unterscheidbar hält, und jede Zeile kann vor dem Rendern geprüft oder bearbeitet werden.

Lip-Sync ist optional und auf frontale Sprechaufnahmen ausgelegt. Durch gesichtserkennungsbasiertes Schneiden werden nur Frames mit sichtbarem Gesicht abgerechnet, während B-Roll und Schnitte unverändert durchlaufen. Zwei Engines stehen zur Verfügung: Normal-Lip-Sync auf Basis von Replicate sync/lipsync-2 für kostenempfindliche Arbeiten und Pro-Lip-Sync auf Basis von sync.so sync-3 für schärfere Kanten, Profilwinkel und Robustheit bei schnellen Schnitten. Die Plattform wird von Creators, Rundfunkanstalten, OTT-Plattformen, EdTech-Unternehmen, Nachrichtenverlagen und Studios genutzt und bietet ab dem Studio-Tarif REST-API und Webhooks, während Enterprise-Deployments On-Premise oder Private Cloud, individuelle Stimmbibliotheken, SLAs, SSO und Audit-Logging unterstützen.