عن المشروع

TurboFieldfare هو وقت تشغيل استدلالي مخصص لنموذج معيّن، مكتوب بلغة Swift وMetal، لتشغيل نموذج Gemma 4 26B-A4B المدرَّب على التعليمات على أجهزة Mac بمعالج Apple Silicon، بما في ذلك أجهزة 8 GB. وبدلاً من تحميل نقطة التحقق الكاملة البالغة نحو 14.3 GB، يُبقي النواة المشتركة وذاكرة KV بصيغة FP16 مقيمتين في الذاكرة (نحو 2 GB من الأوزان بالإضافة إلى ذاكرة KV بسعة 4K)، ويبثّ فقط الخبراء المطلوبين لكل رمز من SSD عبر ذاكرة مؤقتة محدودة للخبراء. ما يتضمنه: - مكتبة Swift مع نوى Metal مخصصة لعمليات GEMV المُكمَّمة والانتباه وMoE والتطبيع وRoPE وأخذ العينات وعمليات الدمج. - تطبيق Mac أصلي بواجهة SwiftUI/AppKit مع خدمة فك ترميز محلية مرافقة. - واجهة سطر أوامر للمحادثة التعليمية والإكمال الخام. - مثبّت/معيد تغليف بثّي يجلب نطاقات بايتات مثبّتة من Hugging Face ويكتب تخطيط .gturbo مباشرةً، مع دعم التحقق من التثبيت والاستئناف. - خادم تجريبي متوافق مع OpenAI عبر الاسترجاع المحلي لواجهة Chat Completions يدعم البث وإعلانات أدوات الدوال وإعادة استخدام بادئة واحدة؛ ولا يتضمن مصادقة عن بُعد أو TLS. - إدخال صور اختياري عبر حزمة رؤية مرافقة تُثبَّت بشكل منفصل (نحو 1.1 GB)، وتتطلب عتاد M2 أو أحدث؛ ويعمل الاستدلال النصي فقط على M1. الأوزان بصيغة MLX affine 4-bit (مجموعة 64) مع موجّه 8-bit. تُقسَّم عملية التعبئة المسبقة للطلب إلى أجزاء (حتى 128 رمزاً) بحيث تخدم الخبراء المجلوبون صفوفاً متعددة، يليها التوليد رمزاً برمز. ويذكر ملف README قياسات فك ترميز تتراوح بين 5.1-6.3 tok/s على جهاز MacBook Air بمعالج M2 وذاكرة 8 GB، و31-35 tok/s على جهاز M5 Pro بذاكرة 24 GB، مع الإشارة إلى أن هذه القياسات تعتمد على طول الطلب وحالة ذاكرة التخزين المؤقت للصفحات والعتاد. المتطلبات هي macOS 26 مع Metal 4 وXcode 26 وSwift 6.2 أو أحدث، وبنية arm64 فقط. الصوت والفيديو خارج النطاق. الكود المصدري بترخيص Apache 2.0؛ وتُنزَّل أوزان النموذج بشكل منفصل وفق شروطها الخاصة، ويؤكد المشروع أنه مستقل عن Google.