इस प्रोजेक्ट के बारे में

llm-local लोकल Large Language Models (LLMs) के लिए एक हल्का एब्स्ट्रैक्शन लेयर है। यह विभिन्न लोकल मॉडल प्रोवाइडर्स के साथ इंटरैक्ट करने के लिए एक एकीकृत API और कमांड-लाइन इंटरफेस (CLI) प्रदान करता है, जिससे अलग-अलग बैकएंड के बीच स्विच करने की प्रक्रिया सरल हो जाती है। मुख्य क्षमताओं में शामिल हैं: - Unified API: विभिन्न प्रोवाइडर्स के बीच टेक्स्ट जेनरेट करने और स्ट्रीमिंग रिस्पॉन्स के लिए एक सुसंगत इंटरफेस। - Provider Discovery: उपलब्ध लोकल प्रोवाइडर्स और उनके मॉडल्स की स्वचालित खोज और लिस्टिंग। - CLI Tool: एक तैयार `llm` कमांड जो मल्टी-टर्न कन्वर्सेशन हिस्ट्री और एक टॉगल करने योग्य 'think' मोड का समर्थन करता है। - Supported Providers: Ollama (`/api/chat` के माध्यम से) और LM Studio (`/api/v1/chat` के माध्यम से) के लिए आउट-ऑफ-द-बॉक्स सपोर्ट, साथ ही कस्टम प्रोवाइडर इंस्टेंस को रजिस्टर करने की क्षमता। - Flexible Integration: इसे एक ग्लोबल CLI टूल के रूप में या TypeScript/JavaScript प्रोजेक्ट्स में एक डिपेंडेंसी के रूप में इंस्टॉल किया जा सकता है।