Portkey sitzt zwischen Anwendung und Modellanbietern und fungiert als Control Plane für KI-Traffic. Eine einheitliche API erschließt einen großen LLM-Katalog, während automatische Fallbacks, Load Balancing, Retries und Timeouts auf der Gateway-Ebene abgewickelt werden – ein Anbieterwechsel erfordert also keine Änderung am Anwendungscode. Virtuelle Keys mit Budgets und Rate Limits ermöglichen die gemeinsame Nutzung von Anbieter-Zugangsdaten ohne Offenlegung der Original-Schlüssel.
Über das Routing hinaus kommen Observability und Governance hinzu. Logs, Traces, Feedback, benutzerdefinierte Metadaten und Filter machen das Verhalten der Modelle in Produktion sichtbar, während Caching die Kosten wiederholter Prompts senkt. Guardrails, Evaluierungs-Templates und Prompt-Versionierung halten Ausgaben und Änderungen kontrollierbar; Enterprise-Deployments ergänzen SSO, rollenbasierte Zugriffskontrolle, Private-Cloud- oder VPC-Hosting sowie Compliance wie SOC 2, ISO 27001, GDPR und HIPAA.
Portkey ist als gehosteter Dienst, als selbst hostbares Open-Source-Gateway und als Enterprise-Deployment verfügbar. Die öffentliche Preisliste beginnt mit einem kostenlosen Developer-Tier, einem Production-Plan für 49 US-Dollar pro Monat und individuellen Enterprise-Preisen; die Plattform wird inzwischen auch als PRISMA AIRS AI Gateway für Unternehmenskunden positioniert.