A TextSynth é uma plataforma de inferência em funcionamento desde 2020 e foi um dos primeiros serviços a disponibilizar publicamente o modelo de linguagem GPT-2. Hoje agrupa várias famílias de modelos abertos atrás de uma única API REST e de um playground web: grandes modelos de linguagem como Mistral e Llama, Stable Diffusion para gerar imagens e Whisper para fala-para-texto, além de geração de voz. A empresa indica que todos os servidores estão em França.
O que distingue o serviço é a sua camada de inferência. Em vez de depender de frameworks padrão, a TextSynth mantém código de inferência próprio concebido para oferecer inferência mais rápida em GPUs e CPUs comuns, o que afirma traduzir-se num menor custo por requisição. Isto torna-o atrativo para programadores que querem cobertura ampla de modelos sem aprovisionar nem afinar o seu próprio serviço de inferência.
A plataforma cobre tarefas habituais de geração e compreensão: conclusão de texto, resposta a perguntas, classificação, chat, tradução, geração de imagens, geração de voz e transcrição de áudio. O uso começa gratuitamente com limites de velocidade, e quem precisa de volume sem restrições paga um valor pequeno por requisição. Equipas que necessitam de suporte à medida podem contactar diretamente.
