منصوبے کے بارے میں

TurboFieldfare ایک ماڈل مخصوص انفرنس رن ٹائم ہے جو Swift اور Metal میں لکھا گیا ہے، اور یہ Gemma 4 26B-A4B انسٹرکشن ماڈل کو Apple Silicon Macs (بشمول 8 GB والے) پر چلانے کے لیے ہے۔ مکمل ~14.3 GB چیک پوائنٹ لوڈ کرنے کے بجائے، یہ مشترکہ کور اور FP16 KV کیش کو میموری میں رکھتا ہے (تقریباً 2 GB وزن اور 4K KV کیش) اور صرف فی ٹوکن ضروری ماہرین کو SSD سے ایک محدود ایکسپرٹ کیش کے ذریعے سٹریم کرتا ہے۔ اس میں شامل ہے: - ایک Swift لائبریری جس میں کسٹم Metal کرنل ہیں: کوانٹائزڈ GEMV، اٹینشن، MoE، نارملائزیشن، RoPE، سیمپلنگ اور فیوژن۔ - ایک مقامی SwiftUI/AppKit Mac ایپ جس میں لوکل ڈی کوڈ سروس ہے۔ - انسٹرکشن چیٹ اور خام کمپلیشن کے لیے کمانڈ لائن انٹرفیس۔ - ایک سٹریمنگ انسٹالر/ری پیکر جو Hugging Face کے مخصوص بائٹ رینجز لاتا ہے اور .gturbo فارمیٹ لکھتا ہے، نیز انسٹال کی تصدیق اور دوبارہ شروع کرنے کی سہولت۔ - ایک تجرباتی لوپ بیک OpenAI مطابق چیٹ کمپلیشن سرور جو سٹریمنگ، فنکشن ٹول ڈیکلریشنز اور سنگل پریفکس پرامپٹ دوبارہ استعمال کو سپورٹ کرتا ہے؛ اس میں ریموٹ تصدیق یا TLS نہیں ہے۔ - اختیاری تصویری ان پٹ الگ سے انسٹال ہونے والے ویژن کمپینئن پیک (تقریباً 1.1 GB) کے ذریعے، جس کے لیے M2 یا نیا ہارڈ ویئر درکار ہے؛ صرف ٹیکسٹ انفرنس M1 پر چلتی ہے۔ وزن MLX affine 4-bit (گروپ 64) ہیں جس میں 8-bit روٹر ہے۔ پرامپٹ پری فل کو چنک کیا جاتا ہے (زیادہ سے زیادہ 128 ٹوکن) تاکہ حاصل کردہ ماہرین کئی قطاروں کے لیے کام کریں، پھر ٹوکن بہ ٹوکن جنریشن ہوتی ہے۔ README میں 8 GB M2 MacBook Air پر 5.1-6.3 ٹوکن فی سیکنڈ اور 24 GB M5 Pro پر 31-35 ٹوکن فی سیکنڈ کی پیمائش بتائی گئی ہے، اور نوٹ کیا گیا ہے کہ یہ پرامپٹ کی لمبائی، صفحہ کیش حالت اور ہارڈ ویئر پر منحصر ہے۔ ضروریات: macOS 26 بمعہ Metal 4، Xcode 26 اور Swift 6.2 یا نیا، صرف arm64۔ آڈیو اور ویڈیو شامل نہیں۔ سورس Apache 2.0 ہے؛ ماڈل وزن الگ سے ان کے اپنے شرائط کے تحت ڈاؤن لوڈ کیے جاتے ہیں، اور پروجیکٹ خود کو Google سے آزاد قرار دیتا ہے۔