llm-systems-managerllmsyscore
新着LLMインフラ向けセルフホスト運用プラットフォーム。リアルタイム監視、OpenAI互換推論ゲートウェイ、モデル自動運用、ベンチマーク、自動チューニング、エネルギー/コスト分析、アラート、リモート操作を提供。llama.cpp、vLLM、LM Studio、stable-diffusion.cppホストに対応。
オープンソース。新しい可能性。
優れたオープンソースプロジェクトを見つけ、匿名でプロジェクトを投稿し、自分のプロジェクトを申請して編集できます。
Topic: inference-engine清除
nobodywhonobodywho-ooo
新着NobodyWhoは、オンデバイスでLLMを実行するためのローカル推論エンジンで、複数のプラットフォームとマルチモーダル入力をサポートします。