このプロジェクトについて

llm-apipoolは、Groq、Mistral、Cerebras、Google Gemini、OpenRouter、Hugging Face、GitHubなど40以上のフリーティア大規模言語モデル（LLM）APIへのアクセスを、単一のOpenAI互換エンドポイント（例：http://localhost:8000/v1）の背後で統一するセルフホスト型ツールです。複数のAPIキー、SDK、レート制限を手動で管理する必要がなくなります。システムはプロバイダごとに自動的にキーをローテーションし、レート制限時にはクールダウンを適用し、代替プロバイダやティアにフォールバックします。セットアップと管理用のCLI、リアルタイムのキーおよび監査ログ監視のためのTextualベースのTUI、分析と設定を備えたReactダッシュボードを搭載しています。対応プロバイダ向けにSSEストリーミング、モデル全体での統一的なeffort設定（低/中/高推論）、サブスクライバー追跡、コネクションプール、ヘルスチェック付きDockerデプロイメントをサポートします。AggregatorChatを介してLangChainとシームレスに統合され、base URLを変更するだけでHermes Agent、Cursor、Continue.devなど任意のOpenAI互換ツールと動作します。APIコストを抑えつつプロダクショングレードの信頼性を維持することを目指す個人開発者や小チーム向けに構築されています。522件のパステスト、Alembicマイグレーション、文書化されたプロバイダガイドを含みます。ロードマップにはプラグインサポート、WebSocketストリーミング、マルチユーザー認証、分散クラスタリングが含まれます。