इस प्रोजेक्ट के बारे में

Lemonade एक लोकल AI सर्वर है जिसका उद्देश्य क्लाउड API के बजाय उपयोगकर्ता के अपने हार्डवेयर पर AI मॉडल चलाना है। यह दो रूपों में वितरित किया जाता है: Lemonade Server, जो एक सेवा इंस्टॉल करता है और मानक OpenAI, Anthropic तथा Ollama संगत API उपलब्ध कराता है ताकि मौजूदा ऐप्स कनेक्ट कर सकें, और Embeddable Lemonade, एक पोर्टेबल बाइनरी जिसे अन्य अनुप्रयोगों में बंडल करने के लिए बनाया गया है ताकि उपयोगकर्ता के PC के अनुकूल मल्टी-मोडल लोकल AI मिल सके। यह प्रोजेक्ट टेक्स्ट जनरेशन, स्पीच-टू-टेक्स्ट, टेक्स्ट-टू-स्पीच, ऑडियो जनरेशन, इमेज जनरेशन, 3D जनरेशन और टेक्स्ट क्लासिफिकेशन का समर्थन करता है। यह GGUF, FLM और ONNX मॉडल फॉर्मेट के साथ काम करता है और इसमें एक मॉडल कैटलॉग तथा मॉडल ब्राउज़ और डाउनलोड करने के लिए Model Manager शामिल है। कस्टम GGUF या ONNX मॉडल Hugging Face या ModelScope से pull किए जा सकते हैं। एक CLI कई कमांड देता है, जैसे मॉडल लॉन्च करके उससे चैट करने के लिए `lemonade run`, कोडिंग वर्कफ़्लो के लिए `lemonade launch claude`, मॉडल प्रबंधन के लिए `lemonade list` और `lemonade pull`, मशीन पर उपलब्ध इन्फरेंस बैकएंड देखने के लिए `lemonade backends`, और पर्यावरण-स्वतंत्र मॉडल नामकरण तथा active-standby failover के लिए `lemonade alias`। हाइब्रिड सेटअप लोकल मॉडलों के साथ-साथ OpenAI-संगत क्लाउड प्रोवाइडरों को भी अनुरोध रूट कर सकते हैं, जिसे प्रयोगात्मक बताया गया है। इन्फरेंस कई इंजनों द्वारा संभाला जाता है जिनकी हार्डवेयर आवश्यकताएँ अलग-अलग हैं। टेक्स्ट जनरेशन के लिए इनमें system, Metal, CUDA, Vulkan, ROCm और CPU बैकएंड वाला llamacpp शामिल है, साथ ही XDNA2 NPU के लिए प्रयोगात्मक llamacpp-hrx, flm और ryzenai-llm, और AMD Strix Halo के लिए प्रयोगात्मक vllm तथा ds4 शामिल हैं। स्पीच-टू-टेक्स्ट whispercpp और moonshine का उपयोग करता है; टेक्स्ट-टू-स्पीच kokoro और प्रयोगात्मक openmoss का; ऑडियो जनरेशन प्रयोगात्मक thinksound और acestep का; इमेज जनरेशन sd-cpp और प्रयोगात्मक thenoise का; 3D जनरेशन प्रयोगात्मक trellis का; और टेक्स्ट क्लासिफिकेशन प्रयोगात्मक onnxruntime का। समर्थित ऑपरेटिंग सिस्टम में Windows 11, कई Linux डिस्ट्रीब्यूशन (Arch, Debian, Fedora, Ubuntu, Snap, Docker) और macOS शामिल हैं, तथा .msi, .deb, .rpm, .pkg और कंटेनर इमेज जैसे पैकेज उपलब्ध हैं। OpenAI-संगत क्लाइंट के लिए इंटीग्रेशन सरल है: क्लाइंट को लोकल सर्वर के base URL पर इंगित करें। README में Python, C++, Java, C#, Node.js, Go, Ruby, Rust और PHP के लिए क्लाइंट लाइब्रेरी सूचीबद्ध हैं, और एक Python उदाहरण दिखाया गया है। एक मार्केटप्लेस संगत अनुप्रयोगों की सूची देता है, जिनमें Claude Code, Open WebUI, AnythingLLM, Dify, n8n, OpenHands, GitHub Copilot और अन्य शामिल हैं। iOS और Android के लिए मोबाइल ऐप्स का भी उल्लेख है। यह प्रोजेक्ट समुदाय-निर्मित है, जिसमें Ryzen AI, Radeon और Strix Halo PCs के लिए AMD इंजीनियरों द्वारा ऑप्टिमाइज़ेशन किया गया है, और इसे AMD द्वारा प्रायोजित किया जाता है। यह Apache 2.0 के अंतर्गत लाइसेंस प्राप्त है और llama.cpp, whisper.cpp, stable-diffusion.cpp, Kokoros, OnnxRuntime GenAI, Hugging Face Hub तथा ModelScope जैसे टूल्स पर आधारित है। README में कहा गया है कि प्रोग्राम अनुरोध किए जाने तक नेटवर्क-युक्त सिस्टमों को जानकारी स्थानांतरित नहीं करता, और चयनित स्रोत के आधार पर मॉडल डाउनलोड या रजिस्ट्री लुकअप Hugging Face Hub या ModelScope से संपर्क कर सकते हैं।