منصوبے کے بارے میں

Daft ایک اعلیٰ کارکردگی والا ڈیٹا انجن ہے جو AI اور ملٹی موڈل کاموں کے لیے ڈیزائن کیا گیا ہے۔ یہ صارفین کو تصاویر، آڈیو، ویڈیو، ایمبیڈنگز اور ساختیافتہ ڈیٹا کو ایک ہی فریم ورک میں پروسیس کرنے دیتا ہے، اور اسے Python-native کے طور پر بیان کیا گیا ہے جس کا کور Rust سے چلتا ہے۔ README میں نمایاں کردہ اہم صلاحیتیں: - نیٹو ملٹی موڈل پروسیسنگ: ایک فریم ورک میں ساختیافتہ ڈیٹا کے ساتھ تصاویر، آڈیو، ویڈیو اور ایمبیڈنگز کو ہینڈل کریں۔ - بلٹ-in AI آپریشنز: OpenAI، Transformers یا کسٹم ماڈلز کا استعمال کرتے ہوئے LLM پرامپٹس چلائیں، ایمبیڈنگز بنائیں اور ڈیٹا کو بڑے پیمانے پر کلاسیفائی کریں۔ - Python-native، Rust-powered: بنیادی طور پر Python جس کے پیچھے Rust ہے، JVM کی پیچیدگی سے بچتے ہوئے۔ - بغیر رکاوٹ اسکیلنگ: مقامی طور پر شروع کریں اور Ray یا Kubernetes پر تقسیم شدہ کلسٹرز تک اسکیل کریں۔ - یونیورسل کنیکٹیویٹی: S3، GCS، Iceberg، Delta Lake، Hugging Face اور Unity Catalog سے ڈیٹا تک رسائی حاصل کریں۔ - آؤٹ آف باکس قابل اعتمادی: ذہین میموری مینجمنٹ اور سمجھدار ڈیفالٹس۔ انسٹالیشن `pip install daft` کے ذریعے کی جاتی ہے اور اس کے لیے Python 3.10 یا اس سے زیادہ درکار ہے۔ README ایک کوئیک اسٹارٹ کی طرف اشارہ کرتا ہے جو ایک حقیقی دنیا کا ای-کامرس ڈیٹاسیٹ لوڈ کرتا ہے، پروڈکٹ کی تصاویر پروسیس کرتا ہے اور بڑے پیمانے پر AI انفرنس چلاتا ہے، نیز مثالیں، ایک یوزر گائیڈ اور ایک API ریفرنس۔ ایک بینچ مارکنگ صفحہ کا بھی حوالہ دیا گیا ہے۔ یہ پروجیکٹ تعاون کا خیرمقدم کرتا ہے اور اچھے پہلے ایشوز کی فہرست دیتا ہے۔ یہ Scarf کے ذریعے غیر شناخت شدہ ٹیلی میٹری جمع کرتا ہے، جسے `DO_NOT_TRACK=true` سیٹ کر کے غیر فعال کیا جا سکتا ہے؛ README بیان کرتا ہے کہ کوئی سیشن IDs یا صارف شناخت کنندہ جمع نہیں کیے جاتے اور کوئی ملکیتی کوڈ یا ڈیٹا اکٹھا نہیں کیا جاتا۔ README میں ایک موازنہ جدول Daft کو Pandas، Polars، Modin، Ray Data، PySpark اور Dask DF کے ساتھ کھڑا کرتا ہے، جن خصوصیات میں کوئری آپٹیمائزر، ملٹی موڈل سپورٹ، تقسیم شدہ ایگزیکیوشن، Arrow بیکنگ، ویکٹرائزڈ ایگزیکیوشن اور آؤٹ آف کور پروسیسنگ شامل ہیں۔ Daft Apache 2.0 کے تحت لائسنس یافتہ ہے۔