عن المشروع

BERTopic هي تقنية نمذجة مواضيع تستخدم تضمينات المحولات و c-TF-IDF لإنشاء مجموعات كثيفة، مما ينتج مواضيع سهلة التفسير مع الحفاظ على الكلمات المهمة في أوصاف المواضيع. يتم توزيعها كحزمة بايثون (Python 3.10+) تحت رخصة MIT، مع ورقة بحثية على arXiv. سير العمل الأساسي: يتم تضمين المستندات، ثم تقليل أبعاد التضمينات (عادةً باستخدام UMAP)، وتجميعها في مواضيع (عادةً باستخدام HDBSCAN)، ثم تقسيمها إلى كلمات، ووزنها باستخدام c-TF-IDF، وأخيرًا تمثيلها كأوصاف مواضيع. كل خطوة من هذه الخطوات معيارية ويمكن استبدالها أو إزالتها، مما يتيح للمستخدمين بناء خطوط أنابيب مخصصة أو استكشاف تقنيات نمذجة مواضيع بديلة فوق الافتراضية. تشمل أشكال نمذجة المواضيع المدعومة: الموجهة، الخاضعة للإشراف، شبه الخاضعة للإشراف، اليدوية، توزيعات متعددة المواضيع، الهرمية، القائمة على الفئات، الديناميكية (مواضيع عبر الزمن)، عبر الإنترنت/التدريجية، متعددة الوسائط، متعددة الجوانب، توليد النصوص/LLM، صفرية اللقطة، دمج النماذج، وكلمات البذور. يسلط ملف README الضوء أيضًا على دعم متعدد اللغات عبر إعداد لغة يغطي أكثر من 50 لغة. يمكن تحسين تمثيلات المواضيع باستخدام خيارات مثل KeyBERTInspired، أو باستخدام نماذج قائمة على LLM (مثل نماذج OpenAI) لتوليد التسميات والملخصات والعبارات والكلمات الرئيسية. تسمح التمثيلات متعددة الجوانب بنمذجة عدة تمثيلات في وقت واحد. تشمل طرق API الشائعة: fit، fit_transform، transform، get_topic، get_topics، get_topic_freq، get_topic_info، get_document_info، get_representative_docs، update_topics، generate_topic_labels، set_topic_labels، merge_topics، reduce_topics، reduce_outliers، find_topics، save و load. الخصائص العامة التي تنتهي بشرطة سفلية تكشف المواضيع، الاحتمالات، أحجام المواضيع، تمثيلات المواضيع، مصفوفة c-TF-IDF، جوانب المواضيع، التسميات، تضمينات المواضيع والمستندات التمثيلية. تشمل طرق التصور: visualize_topics، visualize_documents، visualize_hierarchical_documents، visualize_hierarchy، get_topic_tree، visualize_barchart، visualize_heatmap، visualize_term_rank، visualize_distribution، visualize_topics_over_time و visualize_topics_per_class. يمكن التثبيت عبر uv أو pip، مع خيارات إضافية لخلفيات التضمين (flair، gensim، spacy، use)، والرؤية، وتثبيت خفيف بدون transformers أو UMAP أو HDBSCAN. الوثائق ودفاتر Colab وأمثلة Kaggle مرتبطة من ملف README.