منصوبے کے بارے میں

panllm ایک استعمال میں آسان Python لائبریری ہے جسے مختلف بیک اینڈز میں ایک مستقل API فراہم کر کے مقامی LLM انفرینس کو سادہ بنانے کے لیے ڈیزائن کیا گیا ہے۔ یہ ڈویلپرز کو اپنے بنیادی منطق (core logic) کو تبدیل کیے بغیر انفرینس انجنوں کے درمیان سوئچ کرنے کی اجازت دیتا ہے۔ فی الحال، یہ llama-cpp-python کو سپورٹ کرتا ہے، اور Transformers، ExLlamaV2، اور ExLlamaV3 کو ضم کرنے کے منصوبے ہیں۔ کلیدی خصوصیات میں سادہ ٹیکسٹ مکمل کرنا (text completion)، زبردستی بیک اینڈ کا انتخاب، اور سیکنڈ کے مطابق ٹوکنز جیسی کارکردگی کے اعداد و شمار کے ساتھ اسٹریمڈ چیٹ جنریشن شامل ہیں۔ اس لائبریری کا مقصد مقامی ماڈل تعیناتی کے لیے انفرینس کے انفرادی نفاذ کی پیچیدگیوں کو ایک واحد، ہائی لیول انٹرفیس میں تبدیل کرنا ہے۔