منصوبے کے بارے میں

LLM Router ایک مڈل ویئر لیئر ہے جو آپ کی ایپلی کیشن اور LLM فراہم کنندہ (ڈیفالٹ: Perplexity) کے درمیان کام کرتا ہے۔ یہ ٹوکن کی تعداد اور کی ورڈ سگنلز کی بنیاد پر آنے والے پرامپٹس کو سادہ (simple)، درمیانے (medium)، یا پیچیدہ (complex) تہوں میں تقسیم کرتا ہے، اور پھر ہر درخواست کو سب سے زیادہ کفایتی ماڈل کی طرف بھیجتا ہے: sonar (سادہ)، sonar-pro (درمیانہ)، یا sonar-deep-research (پیچیدہ)۔ ہر درخواست کو PostgreSQL میں مکمل تفصیلات کے ساتھ لاگ کیا جاتا ہے جس میں پرامپٹ، جواب، ٹوکنز، لاگت، لیٹنسی، روٹنگ کی وجہ، اور اختیاری پروجیکٹ ٹیگ شامل ہیں۔ سسٹم لاگت کے خلاصوں، بچت کے حسابات، اور فی ماڈل/دن/پروجیکٹ کی تفصیلات کے لیے ایک اینالٹکس API فراہم کرتا ہے۔ ایک React ڈیش بورڈ استعمال کے رجحانات، لاگت کی تقسیم، اور درخواست کے لاگز کو بصری شکل دیتا ہے۔ Grafana رئیل ٹائم میٹرکس کے لیے Prometheus کے ساتھ مربوط ہے۔ اس کا آرکیٹیکچر فراہم کنندہ سے آزاد (provider-agnostic) ہے — آپ `backend/services/providers/` میں ایک سنگل انٹرفیس نافذ کر کے کسی بھی LLM API کو شامل کر سکتے ہیں۔ FastAPI، PostgreSQL، React، اور Docker Compose کے ساتھ بنایا گیا یہ سسٹم نمونہ ڈیٹا سیڈنگ، ڈیمو اسکرپٹس، اور ٹیسٹ پر مشتمل ہے۔ اسے سیکھنے اور پورٹ فولیو کے استعمال کے لیے ڈیزائن کیا گیا ہے؛ یہ پروڈکشن کے لیے تیار نہیں ہے۔ اس کے لیے قیمتوں اور API کیز کی کنفیگریشن ضروری ہے۔ کارکردگی کا اوور ہیڈ عام طور پر 50ms سے کم ہوتا ہے۔ مستقبل کی توسیع کے لیے اس میں auth، کیشنگ، اور ملٹی ٹیننسی کے لیے پلیس ہولڈرز شامل ہیں۔