منصوبے کے بارے میں

LLMux ایک Rust پر مبنی گیٹ وے ہے جسے ایک متحد API کے ذریعے متعدد لارج لینگویج ماڈل (LLM) فراہم کنندگان کے انتظام کے لیے ڈیزائن کیا گیا ہے۔ یہ async Rust کا استعمال کرتے ہوئے لیٹنسی اور اوور ہیڈ کو کم کرنے پر توجہ مرکوز کرتا ہے۔ اہم صلاحیتوں میں شامل ہیں: - Unified API: OpenAI اور Anthropic (Claude) جیسے فراہم کنندگان کے ساتھ بات چیت کے لیے ایک واحد انٹرفیس فراہم کرتا ہے۔ - Key Management: لوڈ بیلنسنگ میں سہولت اور ریٹ لمٹس سے بچنے کے لیے API keys کی خودکار گردش (rotation) کی حمایت کرتا ہے۔ - Traffic Control: فی منٹ درخواستوں اور ٹوکن کے استعمال (ان پٹ/آؤٹ پٹ) کی بنیاد پر ریٹ لمٹنگ اور کوٹہ نافذ کرتا ہے۔ - Observability: استعمال اور کارکردگی کی نگرانی کے لیے بلٹ ان Prometheus metrics شامل ہیں۔ - Model Mapping: مخصوص استعمال کے کیسز کے لیے مختلف ماڈلز کی کنفیگریشن کی اجازت دیتا ہے، جیسے کہ 'default'، 'fast'، اور 'premium'۔