عن المشروع

LocalAI هو محرك استدلال ذكاء اصطناعي مفتوح المصدر ومُستضاف ذاتيًا مصمم لتشغيل مجموعة واسعة من النماذج محليًا دون الحاجة إلى وحدة معالجة رسومات. يقدم نفسه كنواة صغيرة بدلاً من حزمة أحادية: كل خلفية تغلف محركًا علويًا (مثل llama.cpp، vLLM، whisper.cpp، stable-diffusion، أو MLX) في صورة حاوية خاصة بها، يتم سحبها فقط عندما يحتاج النموذج إليها. وهذا يعني أن المستخدمين يثبّتون فقط المكونات التي تحتاجها النماذج التي اختاروها. الخصائص الرئيسية الموصوفة في ملف README: - بنية قابلة للتجميع: الخلفيات منفصلة وتُجلب عند الطلب. - مفتوحة وقابلة للتوسيع: يمكن للمستخدمين تحميل أي نموذج أو بناء خلفية مخصصة بأي لغة مقابل واجهة مفتوحة. - توافق API جاهز للاستخدام: تدعم واجهات برمجة تطبيقات OpenAI وAnthropic وElevenLabs عبر جميع الخلفيات. - تعدد الوسائط: توليد النص، تحويل النص إلى صوت، تحويل الصوت إلى نص، توليد الصور، الرؤية، كشف الكائنات، إعادة الترتيب، والتضمينات خلف واجهة برمجة تطبيقات واحدة. - دعم الأجهزة: NVIDIA (CUDA 12/13)، AMD (ROCm)، Intel (oneAPI/SYCL)، Apple Silicon (Metal)، Vulkan، NVIDIA Jetson (L4T)، والمعالج المركزي فقط. - ميزات متعددة المستخدمين: مصادقة مفتاح API، حصص المستخدمين، وتحكم الوصول بناءً على الدور. - وكلاء مدمجون: وكلاء مستقلون يستخدمون الأدوات، وRAG، وMCP، والمهارات، بالإضافة إلى مركز الوكلاء. - positioning يركز على الخصوصية أولًا: تبقى البيانات على بنية تحتية المستخدم. تتضمن خيارات التثبيت ملف DMG لنظام macOS (غير موقع، يتطلب إزالة خاصية الحجر) وصور حاويات لـ Docker أو podman، مع متغيرات للمعالج المركزي، وNVIDIA CUDA 12/13، وJetson ARM64، وAMD ROCm، وIntel oneAPI، وVulkan. يمكن تحميل النماذج من معرض النماذج، وHugging Face، وسجل OCI الخاص بـ Ollama، أو إعدادات YAML، أو سجلات OCI القياسية. يتوفر وكيل طرفية للتفاعل مع خادم قيد التشغيل، ويدعم أوامر مثل /models و/model. يُبلغ المشروع عن أكثر من 60 خلفية مدعومة ويحافظ على عدة محركات أصلية بلغة C/C++/GGML، بما في ذلك vllm.cpp، parakeet.cpp، moss-transcribe.cpp، moss-tts.cpp، magpie-tts.cpp، ced.cpp، voice-detect.cpp، voxtral-tts.c، vibevoice.cpp، rf-detr.cpp، locate-anything.cpp، depth-anything.cpp، face-detect.cpp، free-splatter.cpp، trellis2.cpp، privacy-filter.cpp، LocalVQE، ومتجر متجهات محلي. كما يحافظ على apex-quant، وهي وصفة كمّization لنماذج Mixture-of-Experts. تشمل الميزات الإضافية المذكورة القواعد النحوية المقيدة، والاستدلال من نظير إلى نظير، ووضع موزع مع PostgreSQL وNATS، وكشف نشاط الصوت (Silero-VAD)، وواجهة ويب متكاملة، وسير عمل الضبط الدقيق والكمّ، ودعم WebRTC، وواجهة برمجة تطبيقات زمنية حقيقية للتحدث إلى التحدث. المشروع مرخص بموجب رخصة MIT، أنشأه Ettore Di Giacinto ويتم صيانته من قبل فريق صغير بمساهمات من المجتمع.