Keywords AI (Respan)

Keywords AI a débuté comme une couche d'API et de supervision de LLM soucieuse des coûts pour les startups d'IA, et se présente aujourd'hui comme Respan, une passerelle open source. L'idée centrale : une équipe qui construit avec des modèles de langage ne devrait pas avoir à choisir entre routage économique et visibilité profonde. Vous pointez votre SDK OpenAI, Anthropic ou Google existant vers l'URL de base de la passerelle, échangez une clé API, et les requêtes sont routées, réessayées, réparties et journalisées sans réécrire le code de l'application.

La moitié observabilité du produit enregistre chaque appel sous forme de trace, suit le coût et l'usage par modèle et propose une gestion de prompts avec versionnage et déploiement en un clic. Les évaluations, les jeux de données et la notation par LLM-juge permettent des expériences structurées et des tests de non-régression au fil de l'évolution des prompts, ce qui manque souvent aux dispositifs de journalisation improvisés.

Sur le plan opérationnel, la passerelle promet un débit très élevé et une latence ajoutée minime, avec des replis en cas de défaillance d'un fournisseur, des plafonds de dépense par client et un masquage des données personnelles avant qu'elles n'atteignent un modèle. Un espace de travail gratuit couvre un volume de journaux modéré ; les niveaux payants équipe et entreprise relèvent les limites et ajoutent collaboration, SSO et options de conformité. Étant open source, l'auto-hébergement est possible pour les organisations aux exigences strictes.