প্রকল্প সম্পর্কে

Daft একটি উচ্চ-ক্ষমতাসম্পন্ন ডেটা ইঞ্জিন যা AI এবং মাল্টিমোডাল ওয়ার্কলোডের জন্য ডিজাইন করা হয়েছে। এটি ব্যবহারকারীদের একটি একক ফ্রেমওয়ার্কের মধ্যে ইমেজ, অডিও, ভিডিও, এমবেডিং এবং স্ট্রাকচার্ড ডেটা প্রসেস করতে দেয় এবং এটি Python-নেটিভ এবং Rust-চালিত কোর হিসাবে বর্ণনা করা হয়েছে। README-তে হাইলাইট করা মূল ক্ষমতাগুলি: - নেটিভ মাল্টিমোডাল প্রসেসিং: একটি ফ্রেমওয়ার্কে স্ট্রাকচার্ড ডেটার পাশাপাশি ইমেজ, অডিও, ভিডিও এবং এমবেডিং হ্যান্ডেল করুন। - বিল্ট-ইন AI অপারেশন: OpenAI, Transformers বা কাস্টম মডেল ব্যবহার করে স্কেলে LLM প্রম্পট চালান, এমবেডিং তৈরি করুন এবং ডেটা শ্রেণীবদ্ধ করুন। - Python-নেটিভ, Rust-চালিত: মূল অংশে Python এবং ভিতরে Rust, JVM জটিলতা এড়ানো। - নিরবচ্ছিন্ন স্কেলিং: স্থানীয়ভাবে শুরু করুন এবং Ray বা Kubernetes-এ ডিস্ট্রিবিউটেড ক্লাস্টারে স্কেল করুন। - ইউনিভার্সাল সংযোগ: S3, GCS, Iceberg, Delta Lake, Hugging Face এবং Unity Catalog থেকে ডেটা অ্যাক্সেস করুন। - আউট-অফ-বক্স নির্ভরযোগ্যতা: বুদ্ধিমান মেমরি ম্যানেজমেন্ট এবং যুক্তিসঙ্গত ডিফল্ট। ইনস্টলেশন `pip install daft` এর মাধ্যমে এবং Python 3.10 বা তার বেশি প্রয়োজন। README একটি কুইকস্টার্টের দিকে নির্দেশ করে যা একটি বাস্তব-বিশ্বের ই-কমার্স ডেটাসেট লোড করে, প্রোডাক্ট ইমেজ প্রসেস করে এবং স্কেলে AI ইনফারেন্স চালায়, পাশাপাশি উদাহরণ, একটি ব্যবহারকারী গাইড এবং একটি API রেফারেন্স। একটি বেঞ্চমার্কিং পেজও উল্লেখ করা হয়েছে। প্রকল্পটি অবদান স্বাগত জানায় এবং ভাল প্রথম সমস্যাগুলি তালিকাভুক্ত করে। এটি Scarf এর মাধ্যমে অ-শনাক্তযোগ্য টেলিমেট্রি সংগ্রহ করে, যা `DO_NOT_TRACK=true` সেট করে নিষ্ক্রিয় করা যেতে পারে; README-তে বলা হয়েছে যে কোনো সেশন আইডি বা ব্যবহারকারী শনাক্তকারী সংগ্রহ করা হয় না এবং কোনো মালিকানাধীন কোড বা ডেটা সংগ্রহ করা হয় না। README-তে একটি তুলনা টেবিল Daft-কে Pandas, Polars, Modin, Ray Data, PySpark এবং Dask DF-এর পাশাপাশি কোয়েরি অপটিমাইজার, মাল্টিমোডাল সাপোর্ট, ডিস্ট্রিবিউটেড এক্সিকিউশন, Arrow ব্যাকিং, ভেক্টরাইজড এক্সিকিউশন এবং আউট-অফ-কোর প্রসেসিং-এর মতো বৈশিষ্ট্যগুলিতে অবস্থান করে। Daft Apache 2.0 লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত।