প্রকল্প সম্পর্কে

lilbee একটি একক-এক্সিকিউটেবল স্থানীয় AI স্ট্যাক। এটি উপলব্ধ GPU জুড়ে স্থানীয় মডেল (চ্যাট, এমবেডিং, ভিশন, রির্যাঙ্ক) চালায় ও পরিচালনা করে এবং সেগুলোকে আপনার ফাইল, নোট, কোড ও ক্রল করা ওয়েব পেজের উপর একটি কথোপকথনভিত্তিক সার্চ ইঞ্জিন হিসেবে ব্যবহার করে, যেখানে উত্তরগুলো সঠিক ফাইল ও লাইন উদ্ধৃত করে। README-তে বর্ণিত মূল সক্ষমতাগুলো: - মডেল ব্যবস্থাপনা: llama.cpp-এর উপর নির্মিত, নিজস্ব মডেল ম্যানেজার ও মাল্টি-GPU ফ্লিট সহ। Hugging Face ব্রাউজ করুন, মডেল ডাউনলোড করুন, ভূমিকা নির্ধারণ করুন এবং Metal, Vulkan, CUDA বা ROCm-এ চালান। এটির Ollama বা LM Studio প্রয়োজন নেই, তবে বিদ্যমান সেটআপের দিকে নির্দেশ করতে পারে। - ইন্টারফেস: টার্মিনাল UI, CLI, কোডিং এজেন্টের জন্য Model Context Protocol (MCP) সার্ভার, HTTP/REST API এবং একটি Python লাইব্রেরি। একটি Obsidian কমিউনিটি প্লাগইন একটি ভল্টের ভিতরে একই ইঞ্জিন প্রকাশ করে। - ইনজেশন ও সার্চ: স্থানীয় ফাইল ও কোড ইনডেক্স করে, এবং একটি ওয়েব ক্রলার অন্তর্ভুক্ত যা সাইটগুলোকে লাইব্রেরিতে যোগ করে। উত্তরগুলো সোর্স অবস্থানের দিকে উদ্ধৃত হয়। - গোপনীয়তা: ফাইল, ইনডেক্স, এমবেডিং, প্রশ্ন ও উত্তর মেশিনেই থাকে; কোনো টেলিমেট্রি নেই, কোনো অ্যাকাউন্ট নেই, এবং ক্লাউড মডেল কনফিগার না করা হলে কোনো ক্লাউড কল নেই। - ইনস্টলেশন চ্যানেল: স্ট্যান্ডঅ্যালোন বাইনারি সহ Homebrew, AUR, Nix, Docker (GHCR), Flatpak, Snap, Scoop ও npm লঞ্চার, এবং ডেভেলপারদের জন্য pip/uv। NVIDIA CUDA, AMD ROCm এবং প্রি-AVX2 CPU (কম্প্যাট বিল্ড)-এর জন্য ভেন্ডর-নির্দিষ্ট বিল্ড রয়েছে। - প্ল্যাটফর্ম: macOS, Linux ও Windows। Linux বিল্ডগুলো Vulkan লোডার বান্ডল করে; GPU শনাক্তকরণের জন্য সিস্টেমে Vulkan লোডার ইনস্টল থাকা প্রয়োজন। - স্ক্যান করা PDF ও ছবির জন্য Tesseract বা একটি GGUF ভিশন মডেলের মাধ্যমে ঐচ্ছিক OCR। প্রকল্পটি স্পষ্টভাবে সক্রিয় বিটা হিসেবে চিহ্নিত: PyPI-তে রিলিজগুলো প্রি-রিলিজ, `--pre` প্রয়োজন, এবং ইন্টারফেস, কমান্ড নাম ও অন-ডিস্ক ফরম্যাট বিটাগুলোর মধ্যে পরিবর্তিত হতে পারে।