প্রকল্প সম্পর্কে

Spotlight হলো একটি Python লাইব্রেরি যা unstructured ডেটাসেট দ্রুত বুঝতে সাহায্য করে। বিদ্যমান pandas DataFrame বা Hugging Face ডেটাসেট থেকে শুরু করে কয়েক লাইন কোডেই আপনি একটি ইন্টারঅ্যাকটিভ ব্রাউজার ভিজ্যুয়ালাইজেশন চালু করতে পারেন এবং embeddings, predictions ও uncertainties-এর মতো data enrichments ব্যবহার করে গুরুত্বপূর্ণ ক্লাস্টার শনাক্ত করতে পারেন। সমর্থিত ডেটা টাইপের মধ্যে রয়েছে ছবি, অডিও, টেক্সট, ভিডিও, টাইম-সিরিজ ও জ্যামিতিক ডেটা। একটি ন্যূনতম উদাহরণে একটি CSV একটি DataFrame-এ লোড করা হয় এবং dtype mapping সহ spotlight.show কল করা হয়, যাতে ভিউয়ার জানে কীভাবে ছবি বা embeddings-এর মতো কলাম রেন্ডার করতে হবে। README-তে দেখানো সাধারণ ব্যবহারের ক্ষেত্রে রয়েছে image classification (CIFAR-100-এর মতো ডেটাসেটে সমস্যা খুঁজে বের করা, Bing image search থেকে fine-tuning), audio classification (emodb ডেটাসেটে gender detection মডেল ডিবাগ ও তুলনা করা, Whisper/CommonVoice ডেটায় speaker সমস্যা), text classification, এবং Formula 1 রেসের ফলাফল ও crash simulation ডেটার মতো মিশ্র exploratory data analysis। প্রতিটি ব্যবহারের ক্ষেত্রে কোড স্নিপেট, ইন্টারঅ্যাকটিভ ডেমো ও ব্লগ নিবন্ধের লিঙ্ক দেওয়া আছে। ইনস্টলেশন pip (renumics-spotlight) মাধ্যমে, analyzers ও torch-ভিত্তিক embeddings-এর জন্য ঐচ্ছিক extras সহ। Python 3.10 বা তার বেশি প্রয়োজন। README-তে উল্লেখ আছে যে অডিও ডেটার সঙ্গে Hugging Face datasets সংস্করণ 4 ব্যবহার করতে হলে torch extra ও FFmpeg-ও প্রয়োজন। Spotlight পূর্বনির্ধারিত layouts সমর্থন করে, যেমন একটি debug_classification layout যা label, prediction, embedding ও feature কলাম নেয়, এবং layouts প্রোগ্রাম্যাটিকভাবে বা UI-এর মাধ্যমে তৈরি করা যায়। প্রকল্পটি usage tracking ডকুমেন্ট করে: এটি একটি anonymized machine ID-এর অধীনে crash reports ও সমষ্টিগত performance statistics সংগ্রহ করে, এবং SPOTLIGHT_OPT_OUT environment variable-এর মাধ্যমে এটি বন্ধ করা যায়। এটি folder নাম, dataset নাম বা row ডেটা সংগ্রহ করে না। README-তে documentation, একটি API reference, একটি data-centric AI playbook, একটি সম্পর্কিত slice detection লাইব্রেরি (Sliceguard), Hugging Face example spaces, একটি Discord চ্যানেল ও contribution guidelines-এর দিকে ইঙ্গিত করা হয়েছে।