O Portkey coloca-se entre a aplicação e os fornecedores de modelos e funciona como plano de controlo do tráfego de IA. Uma API unificada dá acesso a um catálogo amplo de LLM, com fallbacks automáticos, balanceamento de carga, retries e timeouts tratados na camada de gateway, pelo que mudar ou adicionar um fornecedor não obriga a reescrever o código da aplicação. As chaves virtuais com orçamentos e limites de velocidade permitem partilhar credenciais sem expor segredos.
Sobre o encaminhamento, o Portkey acrescenta observabilidade e governança. Registos, traces, feedback, metadados personalizados e filtros mostram como os modelos se comportam em produção, enquanto a cache reduz o gasto com prompts repetidos. Guardrails, templates de avaliação e versionamento de prompts mantêm as saídas e alterações sob controlo, e as implementações empresariais acrescentam SSO, controlo de acesso por funções, nuvem privada ou VPC e conformidade como SOC 2, ISO 27001, GDPR e HIPAA.
O Portkey está disponível como serviço alojado, gateway open source auto-alojável e implementação empresarial. O preço público começa num nível gratuito para programadores, um plano de produção a 49 dólares por mês e preços empresariais personalizados; a plataforma é agora também posicionada como PRISMA AIRS AI Gateway para clientes empresariais.