इस प्रोजेक्ट के बारे में

panllm एक उपयोग में आसान Python लाइब्रेरी है जिसे विभिन्न बैकएंड में एक सुसंगत API प्रदान करके स्थानीय LLM इन्फरेंस को सरल बनाने के लिए डिज़ाइन किया गया है। यह डेवलपर्स को अपने कोर लॉजिक को बदले बिना इन्फरेंस इंजन के बीच स्विच करने की अनुमति देता है। वर्तमान में, यह llama-cpp-python का समर्थन करता है, और Transformers, ExLlamaV2 और ExLlamaV3 को एकीकृत करने की योजना है। मुख्य विशेषताओं में सरल टेक्स्ट पूर्णता (text completion), फोर्स्ड बैकएंड चयन, और प्रति सेकंड टोकन जैसे प्रदर्शन आंकड़ों के साथ स्ट्रीम चैट जनरेशन शामिल हैं। इस लाइब्रेरी का उद्देश्य स्थानीय मॉडल परिनियोजन के लिए व्यक्तिगत इन्फरेंस कार्यान्वयनों की जटिलताओं को एक एकल, हाई-लेवल इंटरफेस में संक्षिप्त करना है।