Portkey se place entre l'application et les fournisseurs de modèles et joue le rôle de plan de contrôle du trafic IA. Une API unifiée donne accès à un large catalogue de LLM, avec bascules automatiques, répartition de charge, nouvelles tentatives et délais gérés au niveau de la passerelle : changer ou ajouter un fournisseur ne nécessite donc pas de réécrire le code de l'application. Les clés virtuelles avec budgets et limites de débit permettent de partager les identifiants sans exposer les secrets.
Au-dessus du routage, Portkey ajoute observabilité et gouvernance. Journaux, traces, retours, métadonnées personnalisées et filtres révèlent le comportement des modèles en production, tandis que le cache réduit le coût des prompts répétés. Les guardrails, les modèles d'évaluation et le versionnage des prompts gardent les sorties et les changements sous contrôle, et les déploiements d'entreprise ajoutent SSO, contrôle d'accès par rôle, cloud privé ou VPC, et des conformités comme SOC 2, ISO 27001, GDPR et HIPAA.
Portkey existe en service hébergé, en passerelle open source auto-hébergeable et en déploiement d'entreprise. La tarification publique commence par un niveau développeur gratuit, un plan Production à 49 dollars par mois et un tarif entreprise sur mesure ; la plateforme est aussi positionnée comme PRISMA AIRS AI Gateway pour les clients grands comptes.