llm-gateway-with-litellm

本プロジェクトは、LiteLLMとLangChainを活用したLLMゲートウェイの構築を示しており、OpenAI、Groqなど複数のAIプロバイダへの統一アクセスを、単一のOpenAI互換APIを通じて実現します。インテリジェントなモデルルーティング、自動フェールオーバー、ロードバランシング、コスト追跡、キャッシング、観測性、およびPIIレッドクションやプロンプトインジェクションブロックなどの入力側ガードレールを含みます。 実装は、基本の統一APIコールからconfig.yamlを使用した本番対応プロキシサーバーセットアップまで、各概念を段階的に解説する実行可能なJupyterノートブックとして提供されます。LangChainチェーンとのシームレスな統合に対応し、自動スケールインフラストラクチャの背後でのデプロイメントもサポートします。 ベストプラクティスには、Redisキャッシング、ユーザーごとのレート制限、観測性バックエンドへのログ記録、バージョン管理された構成が含まれます。ゲートウェイはプロバイダ固有のSDKを抽象化し、チームがコード変更なしでモデルやプロバイダを切り替えられる一方で、コスト、レイテンシ、セキュリティの制御を一元的に行えます。