llm-gateway

llm-gateway は、Java 21 と Spring Boot を使用して実装された、プロダクションレベルのエンタープライズ向け LLM ゲートウェイおよびコントロールプレーンです。複数の LLM プロバイダーへの統一アクセスを実現し、ルーティング、フォールバック、ガードレール、監査ログ、コスト可視化といった運用制御を提供します。AI プラットフォーム構築者向けに設計され、組織、プロジェクト、API キーによるマルチテナンシーをサポートし、OpenAI および Anthropic 互換の API を公開します。アーキテクチャは、WebFlux ベースのデータプレーン（gateway-app）と Spring MVC のコントロールプレーン（control-plane）を分離し、契約、永続化、ルーティング、プロバイダー SPI 用の共有モジュールを持ちます。PostgreSQL 向けに設計され、Micrometer メトリクス、OpenAPI ドキュメントを含み、実行時セキュリティのために MCP と OAuth を統合しています。フロントエンドコンソールは /frontend 配下で開発中です。ローカル開発には Java 21、Maven 3.9 以上、フロントエンド作業のためにオプションで Node.js/pnpm が必要です。デフォルト設定により、プロバイダーキー用の環境変数でローカルテストが可能です。Swagger ドキュメントは localhost:8080/docs（gateway）および localhost:8081/docs（control plane）で利用できます。現在も積極的に開発中で、モジュール化された構造により機能を段階的に拡張できます。