LiteLLM（Berri AI）

LiteLLMはオープンソースのAIゲートウェイ兼LLMプロキシで、プラットフォームチームがAIスタック全体（モデル、エージェント、MCPサーバー）を1つのキーと1回のログインでまとめて管理できるようにします。OpenAI API形式に対応しているため、開発者はアプリのコードを変えずにOpenAI、Anthropic、Google Vertex AI、AWS Bedrock、Cloudflareなどのモデルを呼び出せます。新しいモデルは公開当日からサポートされ、社内のモデルやファインチューニング済み、セルフホストのモデルも同じゲートウェイの背後に置けます。

コントロールプレーン機能はエンジニアリングだけでなく運用や財務も意識しています。使用量と支出はキー、ユーザー、チーム、組織、ツール、エージェント単位でプロバイダーを横断して追跡でき、ハードな予算とレート制限により上限に達した時点でリクエストを停止します。企業はすべてのリクエストをチームや事業部門に配賦してチャージバックでき、モデルアクセス制御を適用し、PIIマスキング、プロンプトインジェクション検出、シークレット検出といったガードレールを付けられます。すべてのリクエストには改ざん不可の監査ログが残ります。

LiteLLMはセルフホストでも、マネージドのエンタープライズ版でも運用できます。コスト最適化が中心テーマで、プロバイダーやリージョンをまたぐロードバランシング、最安ルーティング、フォールバック、モデルエイリアスが固定予算の価値を高めます。開発者コミュニティで広く知られ、数万のGitHubスターと大手テクノロジー企業での本番導入事例を持ちます。