TextSynth est une plateforme d'inférence en activité depuis 2020, l'un des premiers services à avoir rendu public le modèle de langage GPT-2. Elle regroupe aujourd'hui plusieurs familles de modèles ouverts derrière une API REST unique et un playground web : grands modèles de langage comme Mistral et Llama, Stable Diffusion pour générer des images et Whisper pour la parole vers texte, auxquels s'ajoute la génération vocale. L'entreprise indique que tous les serveurs se trouvent en France.
Sa spécificité réside dans la couche d'inférence. Plutôt que de s'appuyer sur des frameworks standard, TextSynth maintient son propre code d'inférence conçu pour aller plus vite sur des GPU et CPU courants, ce qui, selon l'entreprise, abaisse le coût par requête. C'est intéressant pour les développeurs qui veulent une large couverture de modèles sans provisionner ni ajuster leur propre service d'inférence.
La plateforme couvre les tâches habituelles de génération et de compréhension : complétion de texte, réponse aux questions, classification, chat, traduction, génération d'images, génération vocale et transcription audio. L'usage démarre gratuitement avec des limites de débit, et ceux qui veulent un débit sans restriction paient un petit montant par requête. Les équipes ayant des besoins spécifiques peuvent contacter directement l'entreprise.
