منصوبے کے بارے میں

lilbee ایک واحد قابل عمل مقامی AI اسٹیک ہے۔ یہ دستیاب GPUs پر مقامی ماڈلز (چیٹ، ایمبیڈنگ، وژن، ریرینک) چلاتا اور ان کا انتظام کرتا ہے، اور انہیں آپ کی فائلوں، نوٹس، کوڈ اور کروڈ کیے گئے ویب صفحات پر گفتگو پر مبنی سرچ انجن کے طور پر استعمال کرتا ہے، جس کے جوابات عین فائل اور لائن کا حوالہ دیتے ہیں۔ README میں بیان کردہ اہم صلاحیتیں: - ماڈل مینجمنٹ: llama.cpp پر مبنی، اپنے ماڈل مینیجر اور ملٹی-GPU فلیٹ کے ساتھ۔ Hugging Face براؤز کریں، ماڈلز ڈاؤن لوڈ کریں، کردار تفویض کریں، اور انہیں Metal، Vulkan، CUDA یا ROCm پر چلائیں۔ اسے Ollama یا LM Studio کی ضرورت نہیں ہے، لیکن یہ موجودہ سیٹ اپ کی طرف اشارہ کر سکتا ہے۔ - انٹرفیس: ٹرمینل UI، CLI، کوڈنگ ایجنٹس کے لیے Model Context Protocol (MCP) سرور، HTTP/REST API، اور Python لائبریری۔ ایک Obsidian کمیونٹی پلگ ان وہی انجن والٹ کے اندر پیش کرتا ہے۔ - انجیشن اور سرچ: مقامی فائلوں اور کوڈ کو انڈیکس کرتا ہے، اور ایک ویب کرالر شامل ہے جو سائٹس کو لائبریری میں شامل کرتا ہے۔ جوابات ماخذ مقامات تک حوالہ دیے جاتے ہیں۔ - پرائیویسی: فائلیں، انڈیکس، ایمبیڈنگز، سوالات اور جوابات مشین پر رہتے ہیں؛ کوئی ٹیلی میٹری نہیں، کوئی اکاؤنٹ نہیں، اور کوئی کلاؤڈ کال نہیں جب تک کہ کلاؤڈ ماڈل ترتیب نہ دیا گیا ہو۔ - انسٹالیشن چینلز: اسٹینڈ ایلون بائنریز کے علاوہ Homebrew، AUR، Nix، Docker (GHCR)، Flatpak، Snap، Scoop اور npm لانچرز، نیز ڈویلپرز کے لیے pip/uv۔ NVIDIA CUDA، AMD ROCm، اور pre-AVX2 CPUs (کمپیٹ بلڈ) کے لیے وینڈر مخصوص بلڈز موجود ہیں۔ - پلیٹ فارمز: macOS، Linux اور Windows۔ Linux بلڈز Vulkan لوڈر کو بنڈل کرتے ہیں؛ GPU کا پتہ لگانے کے لیے سسٹم Vulkan لوڈر انسٹال ہونا ضروری ہے۔ - اسکین شدہ PDFs اور تصاویر کے لیے اختیاری OCR بذریعہ Tesseract یا GGUF وژن ماڈل۔ یہ پروجیکٹ واضح طور پر ایکٹو بیٹا کے طور پر لیبل کیا گیا ہے: PyPI پر ریلیزز پری-ریلیز ہیں جن کے لیے `--pre` درکار ہے، اور انٹرفیس، کمانڈ نام اور آن-ڈسک فارمیٹس بیٹا کے درمیان تبدیل ہو سکتے ہیں۔