منصوبے کے بارے میں
Liapi ایک سیلف ہوسٹڈ HTTP سروس ہے جو بیرونی طور پر OpenAI-کمپیٹیبل API فراہم کرتی ہے اور اندرونی طور پر متعدد اپ اسٹریم ماڈل سروسز (OpenAI، Claude، OpenRouter، SiliconFlow، Ollama وغیرہ) کو یکجا کرتی ہے۔ یہ پروجیکٹ Go 1.22+ خالص اسٹینڈرڈ لائبریری پر مبنی ہے، کوئی تھرڈ پارٹی ڈیپنڈنسی نہیں، go build ایک قدم میں بائنری بناتا ہے۔
بنیادی خصوصیات:
- متحد تصدیق: کلائنٹ ٹوکن اور اپ اسٹریم API Key مکمل طور پر الگ، Bearer / x-api-key / ?token= تین ذرائع کی حمایت، SHA-256 ڈائجسٹ + کانسٹنٹ ٹائم موازنہ سے ٹائمنگ اٹیک سے بچاؤ، ٹوکن ماسک کر کے لاگ میں درج۔
- ماڈل روٹنگ: priority کے بڑھتے ہوئے ترتیب سے، ایک ہی priority گروپ میں weight کے مطابق ویٹڈ رینڈم؛ واضح ڈیگریڈیشن چین (fallbacks)، عین ماڈل عرف اور ریگولر ایکسپریشن عرف قواعد (پیرامیٹر اوور رائٹ سمیت) کی حمایت۔
- فیل اوور: پہلے WriteHeader سے پہلے سوئچ کا فیصلہ مکمل، 429/5xx خودکار اپ اسٹریم سوئچ، 4xx (429 کے علاوہ) فاسٹ فیل بغیر ری ٹرائی؛ ایک اپ اسٹریم کے اندرونی ری ٹرائی کی حمایت۔
- اسٹریمنگ فارورڈنگ: text/event-stream کی شناخت کر کے لائن بہ لائن کاپی اور Flush، اسٹریمنگ میں ہارڈ ٹائم آؤٹ نہیں کلائنٹ ڈسکنکشن سے چلتی ہے، کلائنٹ ڈسکنکٹ ہونے پر اپ اسٹریم پڑھنا بند اور کنکشن ریلیز۔
- ریٹ لمٹنگ: سلائیڈنگ ونڈو ریٹ لمٹنگ، فی ٹوکن فی منٹ درخواستوں کی تعداد اور روزانہ UTC کوٹہ کی حمایت، ڈیوائس الگ سے اوور رائٹ کر سکتی ہے۔
- لاگنگ و شماریات: JSONL لاگ فائل + ان میموری رنگ بفر، پاتھ، ماڈل، اپ اسٹریم، اسٹیٹس، تاخیر، ٹوکن استعمال اور لاگت کا تخمینہ ریکارڈ؛ اپ اسٹریم/ماڈل/ٹوکن/وقت کی مدت کے مطابق ایگریگیشن، P50/P90/P99 تاخیر اور ایرر کوڈ ڈسٹری بیوشن فراہم۔
- ہیلتھ چیک: بیک گراؤنڈ goroutine وقتاً فوقتاً متوازی اپ اسٹریم پروب، مسلسل N بار ناکامی پر نا صحت مند نشان زد، روٹنگ میں خودکار اجتناب (آن/آف)، سب ڈاؤن ہونے پر مکمل پر واپسی۔
- ویب ایڈمن کنسول: Nuxt 4 پر مبنی اسٹیٹک SPA، go:embed سے بائنری میں ایمبیڈ، اپ اسٹریم/ٹوکن/ڈیوائس مینجمنٹ، کنفیگ ہاٹ ری لوڈ، لاگ کوئری، شماریات ایکسپورٹ، ڈیبگ ٹیسٹ کی حمایت۔
ایڈمن API مکمل CRUD فراہم کرتی ہے: اپ اسٹریم مینجمنٹ، ڈیوائس ٹوکن مینجمنٹ (صرف SHA-256 ہیش محفوظ، پلین ٹیکسٹ صرف ایک بار جاری)، کنفیگ امپورٹ/ایکسپورٹ (OneAPI channels فارمیٹ امپورٹ کی حمایت)، شماریات ایگریگیشن اور CSV/JSON ایکسپورٹ، Prometheus metrics۔ ایڈمن کنسول لاگ ان یوزر نیم + پاس ورڈ (PBKDF2-HMAC-SHA256 سالٹڈ ہیش)، قلیل مدتی سیشن ٹوکن جاری، بزنس کال ٹوکن سے سختی سے الگ۔ کنفیگ فائل لازمی 0600 پرمیشن اور اسٹارٹ اپ پر توثیق۔
بزنس API OpenAI فارمیٹ کے مطابق، /v1/chat/completions، /v1/completions، /v1/embeddings، /v1/models، /v1/messages (Claude نیٹو فارمیٹ) کا احاطہ، کلائنٹ صرف base_url تبدیل کر کے استعمال کر سکتا ہے۔
Comments
0 people shared their preference · Deer Point appears after 10 participants
Sign in to join the discussion.