عن المشروع

panllm هي مكتبة Python سهلة الاستخدام مصممة لتبسيط عملية استنتاج النماذج اللغوية الكبيرة (LLM) محلياً من خلال توفير واجهة برمجة تطبيقات (API) متسقة عبر محركات استنتاج مختلفة. وهي تتيح للمطورين التنقل بين محركات الاستنتاج دون تغيير منطق عملهم الأساسي. تدعم المكتبة حالياً llama-cpp-python، مع خطط لدمج Transformers و ExLlamaV2 و ExLlamaV3. وتشمل الميزات الرئيسية إكمال النصوص البسيط، والاختيار القسري للمحرك، وتوليد الدردشة المتدفق مع إحصائيات الأداء مثل عدد الرموز (tokens) في الثانية. تهدف المكتبة إلى تجريد تعقيدات تنفيذات الاستنتاج الفردية في واجهة واحدة عالية المستوى لنشر النماذج محلياً.