প্রকল্প সম্পর্কে

Lemonade হলো একটি লোকাল AI সার্ভার, যার লক্ষ্য ক্লাউড API-এর বদলে ব্যবহারকারীর নিজের হার্ডওয়্যারে AI মডেল চালানো। এটি দুইটি রূপে বিতরণ করা হয়: Lemonade Server, যা একটি সার্ভিস ইনস্টল করে এবং স্ট্যান্ডার্ড OpenAI, Anthropic ও Ollama সামঞ্জস্যপূর্ণ API প্রকাশ করে যাতে বিদ্যমান অ্যাপ সংযুক্ত হতে পারে, এবং Embeddable Lemonade, একটি পোর্টেবল বাইনারি যা অন্য অ্যাপ্লিকেশনে বান্ডল করার জন্য তৈরি এবং ব্যবহারকারীর PC-এর সাথে খাপ খাওয়ানো মাল্টি-মোডাল লোকাল AI প্রদান করে। প্রকল্পটি টেক্সট জেনারেশন, স্পিচ-টু-টেক্সট, টেক্সট-টু-স্পিচ, অডিও জেনারেশন, ইমেজ জেনারেশন, 3D জেনারেশন এবং টেক্সট ক্লাসিফিকেশন সমর্থন করে। এটি GGUF, FLM ও ONNX মডেল ফরম্যাটের সাথে কাজ করে এবং এতে একটি মডেল ক্যাটালগ ও মডেল ব্রাউজ ও ডাউনলোডের জন্য একটি Model Manager রয়েছে। কাস্টম GGUF বা ONNX মডেল Hugging Face বা ModelScope থেকে টানা যায়। একটি CLI কমান্ড প্রদান করে, যেমন `lemonade run` দিয়ে একটি মডেল চালু ও চ্যাট করা, কোডিং ওয়ার্কফ্লোর জন্য `lemonade launch claude`, মডেল ব্যবস্থাপনার জন্য `lemonade list` ও `lemonade pull`, মেশিনে উপলব্ধ ইনফারেন্স ব্যাকএন্ড পরীক্ষার জন্য `lemonade backends`, এবং পরিবেশ-নিরপেক্ষ মডেল নামকরণ ও অ্যাক্টিভ-স্ট্যান্ডবাই ফেইলওভারের জন্য `lemonade alias`। হাইব্রিড সেটআপ লোকাল মডেলের পাশাপাশি OpenAI-সামঞ্জস্যপূর্ণ ক্লাউড প্রোভাইডারে অনুরোধ রাউটও করতে পারে, যা পরীক্ষামূলক হিসেবে বর্ণিত। ইনফারেন্স বিভিন্ন হার্ডওয়্যার প্রয়োজনীয়তাসম্পন্ন একাধিক ইঞ্জিন দ্বারা পরিচালিত হয়। টেক্সট জেনারেশনের জন্য এগুলোর মধ্যে রয়েছে সিস্টেম, Metal, CUDA, Vulkan, ROCm ও CPU ব্যাকএন্ডসহ llamacpp, এবং XDNA2 NPU-এর জন্য পরীক্ষামূলক llamacpp-hrx, flm ও ryzenai-llm, এবং AMD Strix Halo-র জন্য পরীক্ষামূলক vllm ও ds4। স্পিচ-টু-টেক্সট whispercpp ও moonshine ব্যবহার করে; টেক্সট-টু-স্পিচ kokoro ও পরীক্ষামূলক openmoss ব্যবহার করে; অডিও জেনারেশন পরীক্ষামূলক thinksound ও acestep ব্যবহার করে; ইমেজ জেনারেশন sd-cpp ও পরীক্ষামূলক thenoise ব্যবহার করে; 3D জেনারেশন পরীক্ষামূলক trellis ব্যবহার করে; এবং টেক্সট ক্লাসিফিকেশন পরীক্ষামূলক onnxruntime ব্যবহার করে। সমর্থিত অপারেটিং সিস্টেমের মধ্যে রয়েছে Windows 11, একাধিক Linux ডিস্ট্রিবিউশন (Arch, Debian, Fedora, Ubuntu, Snap, Docker) এবং macOS, সাথে .msi, .deb, .rpm, .pkg ও কনটেইনার ইমেজের মতো প্যাকেজ। OpenAI-সামঞ্জস্যপূর্ণ ক্লায়েন্টের জন্য ইন্টিগ্রেশন সহজ: ক্লায়েন্টকে লোকাল সার্ভার বেস URL-এ নির্দেশ করুন। README-তে Python, C++, Java, C#, Node.js, Go, Ruby, Rust ও PHP-এর ক্লায়েন্ট লাইব্রেরি তালিকাভুক্ত এবং একটি Python উদাহরণ দেখানো হয়েছে। একটি মার্কেটপ্লেস সামঞ্জস্যপূর্ণ অ্যাপ্লিকেশন তালিকাভুক্ত করে, যার মধ্যে Claude Code, Open WebUI, AnythingLLM, Dify, n8n, OpenHands, GitHub Copilot এবং অন্যান্য রয়েছে। iOS ও Android-এর মোবাইল অ্যাপও উল্লেখ করা হয়েছে। প্রকল্পটি কমিউনিটি-নির্মিত, Ryzen AI, Radeon ও Strix Halo PC-এর জন্য AMD ইঞ্জিনিয়ারদের অপ্টিমাইজেশনসহ, এবং এটি AMD দ্বারা স্পনসরড। এটি Apache 2.0 লাইসেন্সের অধীনে এবং llama.cpp, whisper.cpp, stable-diffusion.cpp, Kokoros, OnnxRuntime GenAI, Hugging Face Hub ও ModelScope-এর মতো টুলের উপর নির্মিত। README-তে বলা হয়েছে যে অনুরোধ না করা হলে প্রোগ্রামটি নেটওয়ার্কযুক্ত সিস্টেমে তথ্য স্থানান্তর করে না, এবং নির্বাচিত সোর্সের উপর নির্ভর করে মডেল ডাউনলোড বা রেজিস্ট্রি লুকআপ Hugging Face Hub বা ModelScope-এর সাথে যোগাযোগ করতে পারে।