عن المشروع

Hugging Face Datasets مكتبة بايثون خفيفة تركز على قدرتين رئيسيتين: محمّلات بيانات بسطر واحد لمجموعات البيانات العامة، والمعالجة المسبقة للبيانات بكفاءة وقابلية للتكرار. تحميل البيانات - يجلب `load_dataset()` مجموعات البيانات من Hugging Face Hub أو من الملفات المحلية. يستضيف Hub مجموعة كبيرة ومتنامية من مجموعات البيانات تغطي الصور والصوت والنصوص (مئات اللغات واللهجات) والتصوير الطبي ثلاثي الأبعاد والفيديو وتتبعات وكلاء الذكاء الاصطناعي. - تشمل الصيغ المحلية المدعومة CSV وJSON وJSONL وParquet وArrow وHDF5 وXML والنص العادي وPNG وJPEG وWAV وMP3 وPDF وNIfTI. - يمكن أيضًا بناء مجموعات البيانات من كائنات بايثون: القواميس أو القوائم أو Pandas DataFrames أو المولدات. معالجة البيانات - يطبّق `dataset.map()` دوال المستخدم على الأمثلة، مع التجميع والمعالجة المتعددة (`num_proc`) لتسريع متوازٍ. - تُخزَّن النتائج مؤقتًا، فلا تُعاد خطوات المعالجة المتكررة. - يوفر الخلفية Apache Arrow تخزينًا صفري النسخ ومعيّنًا في الذاكرة، ما يسمح لمجموعات البيانات بتجاوز الذاكرة المتاحة RAM. - يتيح وضع البث (`streaming=True`) التكرار على البيانات أثناء جريانها دون تنزيلها أولاً، وهو مفيد للأحمال الضخمة جدًا أو المقيّدة بالقرص. التشغيل البيني - تحويل أصلي من وإلى NumPy وPandas وPolars وArrow وPyTorch وTensorFlow وJAX وSpark. - دعم مدمج لفهرسة FAISS وElasticsearch للبحث بالتشابه. - يتعامل نوع الميزة `Json()` مع البيانات المهيكلة المرنة. الفئات الأساسية - `Dataset`: في الذاكرة أو معيّن في الذاكرة، يدعم الفهرسة والتقطيع والوصول العشوائي والتخزين المؤقت. - `IterableDataset`: كسول وقابل للبث للمعالجة خارج النواة. - يُغلَّف كلاهما في `DatasetDict` / `IterableDatasetDict` لمجموعات البيانات متعددة التقسيمات مثل train/test/validation. التثبيت والإضافات - قابل للتثبيت عبر pip (`pip install datasets`) أو conda (`conda install -c huggingface -c conda-forge datasets`). - تغطي الإضافات الاختيارية الصوت والرؤية وملفات PDF/NIfTI وتكاملات الأطر مع PyTorch وTensorFlow وJAX. المجتمع وقابلية التكرار - يوثّق المشروع كيفية رفع مجموعات البيانات ومشاركتها على Hub عبر الويب أو بايثون أو Git. - يُشجَّع المستخدمون على تثبيت مراجعات مجموعات البيانات لضمان قابلية التكرار. - المساهمات مرحّب بها، مع دليل مساهمة يغطي المشكلات وطلبات السحب ونمط الكود (Ruff) والاختبار والتوثيق. - وُصفت المكتبة في ورقة عرض نظام EMNLP 2021، ولها معرّفات Zenodo DOI مُصدَّرة للإشارة.