منصوبے کے بارے میں

lakeFS ایک سورس-دستیاب ٹول ہے جو آبجیکٹ اسٹوریج کو Git جیسے ریپوزٹری میں تبدیل کرتا ہے، جس سے ٹیمیں ڈیٹا لیکس کو ورژن کنٹرول کے تصورات کے ساتھ منظم کر سکتی ہیں۔ یہ بنیادی اسٹوریج کے طور پر AWS S3، Azure Blob Storage اور Google Cloud Storage کو سپورٹ کرتا ہے، اور S3 کے ساتھ API-مطابقت رکھتا ہے، اس لیے یہ Spark، Hive، AWS Athena، DuckDB اور Presto جیسے فریم ورکس کے ساتھ کام کرتا ہے۔ README میں بیان کردہ بنیادی صلاحیتیں: - برانچنگ اور الگ تھلگ ماحول: ایسی برانچیں بنائیں جو آبجیکٹس کی کاپی کیے بغیر مکمل پروڈکشن ڈیٹا کی کاپی فراہم کرتی ہیں، جو تبدیلیاں آگے بڑھانے سے پہلے ETL ڈیولپمنٹ اور ٹیسٹنگ کے لیے مفید ہے۔ - دوبارہ پیداواریت: Git جیسا انٹرفیس ڈیٹا کی موجودہ حالت سے زیادہ کو ٹریک کرتا ہے، جس سے کسی خاص وقت پر ڈیٹاسیٹ کی حالت دوبارہ پیدا کرنا ممکن ہوتا ہے، جو ڈیبگنگ، ML ٹریننگ رنز کی توثیق اور آڈٹس کی معاونت میں مدد کرتا ہے۔ - Write-Audit-Publish: ہکس معیار اور گورننس گیٹس نافذ کر سکتے ہیں تاکہ صرف وہی ڈیٹا پروڈکشن کا حصہ بنے جو ٹیسٹ پاس کرے۔ - رول بیک: ڈیٹا کو پچھلے ورژن پر واپس لائیں تاکہ اہم ڈیٹا غلطیوں سے تیزی سے بحالی ہو سکے، بغیر ڈیٹا کی نقل کے ورژننگ استعمال کرتے ہوئے۔ شروع کرنے کے اختیارات میں ایک Python کوئیک اسٹارٹ (pip install lakefs؛ python -m lakefs.quickstart) اور ایک Docker کمانڈ (docker run treeverse/lakefs:latest run --quickstart) شامل ہیں، جس کے بعد ویب UI پورٹ 8000 پر دستیاب ہوتا ہے۔ دستاویزات، ایک کوئیک اسٹارٹ گائیڈ اور نمونہ اینڈ ٹو اینڈ ایپلیکیشنز ریپوزٹری سے لنک شدہ ہیں۔ لائسنسنگ: lakeFS بزنس سورس لائسنس 1.1 (BUSL-1.1) کے تحت ہے، جو غیر پروڈکشن مقاصد کے لیے مفت استعمال، ترمیم اور دوبارہ تقسیم کی اجازت دیتا ہے اور اندرونی کاروباری مقاصد کے لیے غیر ترمیم شدہ سافٹ ویئر کے مفت پروڈکشن استعمال کی اجازت دیتا ہے؛ ہر ورژن ریلیز کے چار سال بعد Apache 2.0 بن جاتا ہے۔ README میں Treeverse کا موقف بھی بیان کیا گیا ہے کہ مناسب نوٹسز یا انتساب کے بغیر AI ایجنٹس کے ساتھ سورس کوڈ کا اشتراک لائسنس کی خلاف ورزی ہے، اور یہ کہ AI پرووائیڈر گارڈریلز کاپی رائٹ کی خلاف ورزی کو روکنے کے لیے کافی نہیں سمجھے جاتے۔ README میں بہت سی تنظیموں کی فہرست دی گئی ہے جو lakeFS استعمال کرتی بتائی جاتی ہیں، جن میں Netflix، Ford Motor Company، Volvo Cars، Daimler Truck، PETRONAS، AppsFlyer، Similarweb اور دیگر شامل ہیں۔ کمیونٹی سپورٹ Slack، Twitter، YouTube اور ایک بلاگ کے ذریعے فراہم کی جاتی ہے۔