ओपन सोर्स। नई संभावनाएँ।

PowerInfer एक स्थानीय LLM इनफरेंस इंजन है जो एक्टिवेशन लोकालिटी का उपयोग करता है। यह 'हॉट' न्यूरॉन्स को GPU पर और 'कोल्ड' न्यूरॉन्स को CPU पर रखता है, जिससे मेमोरी दबाव कम होता है। यह हाइब्रिड या केवल CPU इनफरेंस, INT4 क्वांटाइजेशन, सर्विंग और बैचिंग का समर्थन करता है।

YuE2 एक ओपन म्यूज़िक जनरेशन मॉडल है जो सिंबॉलिक प्लानिंग और ऑडियो सिंथेसिस को एकीकृत करता है: यह लिरिक्स और स्टाइल प्रॉम्प्ट को संपादन-योग्य मेलोडी-और-कॉर्ड स्कोर में बदलता है, फिर वोकल्स और अकम्पनिमेंट के साथ पूरा गाना रेंडर करता है। यह ज़ीरो-शॉट कवर और एजेंटिक स्कोर एडिटिंग भी सपोर्ट करता है।

vLLM एक उच्च-थ्रूपुट और मेमोरी-कुशल लाइब्रेरी है जिसे Large Language Model (LLM) इन्फरेंस और सर्विंग के लिए डिज़ाइन किया गया है।

रिपोमिक्स एक पूरे रिपॉजिटरी को एकल AI-अनुकूल फ़ाइल (XML, Markdown, JSON, या सादा पाठ) में संग्रहीत करता है ताकि कोडबेस को Claude, ChatGPT, और Gemini जैसे LLM में दिया जा सके। इसमें टोकन गिनती, सुरक्षा जांच, कोड संपीड़न और दूरस्थ रिपॉजिटरी समर्थन शामिल है।

Chinese-LLaMA-Alpaca एक खुला स्रोत चीनी भाषा मॉडल परियोजना है, जो LLaMA में चीनी शब्दावली जोड़कर द्वितीयक प्रशिक्षण और निर्देश-ट्यूनिंग मॉडल, LoRA वज़न, तथा CPU/GPU स्थानीय परिनियोजन सहायता प्रदान करती है।

Unsloth एक डेस्कटॉप एप्लिकेशन और फ्रेमवर्क है जो Windows, macOS और Linux पर स्थानीय रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) और डिफ्यूजन मॉडल्स को चलाने और प्रशिक्षित करने के लिए उपयोग किया जाता है।

LocalAI एक ओपन‑स्रोत, स्व‑होस्टेड AI इंजन है जो किसी भी हार्डवेयर पर, CPU‑only सहित, LLMs, विज़न, वॉयस, इमेज और वीडियो मॉडल्स चलाता है। यह OpenAI, Anthropic और ElevenLabs‑संगत API प्रदान करता है, ऑन‑डिमांड मॉड्यूलर बैकएंड, मल्टी‑यूज़र प्रमाणीकरण, और RAG और MCP वाले बिल्ट‑इन एजेंट्स प्रदान करता है।

Oumi एक ओपन-सोर्स प्लेटफ़ॉर्म है जो फाउंडेशन-मॉडल के पूरे जीवनचक्र को कवर करता है: डेटा तैयारी, प्रशिक्षण और फाइन-ट्यूनिंग (SFT, LoRA, QLoRA, GRPO), मूल्यांकन, LLM जज के साथ डेटा संश्लेषण, और vLLM/SGLang के माध्यम से तैनाती, साथ में CLI और क्लाउड जॉब लॉन्चिंग।

UL-SMF एक लंबे-संदर्भ ट्रांसफॉर्मर अनुमान के लिए KV कैश संपीड़न ढांचा है, जो FSQ और 16D लेटेंट मैपिंग के माध्यम से 384x तक संपीड़न का दावा करता है। मुख्य संपीड़न तर्क एक मालिकाना बंद-स्रोत बाइनरी की आवश्यकता है।

LlamaFactory एक Python फ्रेमवर्क है जो 100+ बड़े भाषा और मल्टीमॉडल मॉडलों के कुशल फाइन-ट्यूनिंग के लिए है, जिसमें ज़ीरो-कोड CLI, Gradio Web UI, LoRA/QLoRA और कई ट्रेनिंग एल्गोरिदम शामिल हैं।

एस्ट्रबॉट एक ओपन-सोर्स एजेंट चैटबॉट प्लेटफॉर्म है जो एलएलएम और एजेंट फ्रेमवर्क को व्यापक इंस्टेंट मैसेजिंग एप्लिकेशन जैसे कि क्यूक्यू, टेलीग्राम, स्लैक और फेशू में जोड़ता है, प्लगइन विस्तार, वेबयूआई और सैंडबॉक्स निष्पादन के साथ।

Langchain-Chatchat Langchain तथा ChatGLM, Qwen, Llama जैसे बड़े मॉडलों पर आधारित एक ओपन-सोर्स ऑफ़लाइन RAG और Agent अनुप्रयोग है, जो स्थानीय ज्ञानकोष प्रश्नोत्तर, बहु-मॉडल इन्फ़रेंस फ्रेमवर्क एकीकरण, WebUI और API सेवा का समर्थन करता है।

Ollama एक ऐसा टूल है जो उपयोगकर्ताओं को macOS, Windows और Linux पर स्थानीय रूप से ओपन-सोर्स लार्ज लैंग्वेज मॉडल्स को चलाने, प्रबंधित करने और उनके साथ निर्माण करने की अनुमति देता है।

AI-संचालित कमांड-लाइन उत्पादकता उपकरण। शेल कमांड, कोड स्निपेट और दस्तावेज़ उत्पन्न करता है, चैट/REPL मोड, कस्टम भूमिकाएँ और फ़ंक्शन कॉलिंग का समर्थन करता है। Linux, macOS और Windows के साथ संगत।

SGLang बड़े भाषा मॉडल (LLMs) और मल्टीमॉडल मॉडल के लिए एक उच्च-प्रदर्शन सर्विंग फ्रेमवर्क है, जिसे कम विलंबता और उच्च थ्रूपुट इन्फरेंस के लिए डिज़ाइन किया गया है।

PocketRisu एक सेल्फ-होस्टेड AI रोलप्ले चैट प्लेटफ़ॉर्म है जो RisuAI से फोर्क किया गया है, जिससे आप अपने व्यक्तिगत सर्वर को चलाकर PC, टैबलेट और स्मार्टफ़ोन पर वेब ब्राउज़र के माध्यम से एक्सेस कर सकते हैं।

Aider एक टर्मिनल-आधारित AI पेयर प्रोग्रामिंग टूल है जो डेवलपर्स को नए प्रोजेक्ट बनाने या मौजूदा कोडबेस को संशोधित करने के लिए LLMs के साथ सहयोग करने की अनुमति देता है।