প্রকল্প সম্পর্কে

এই রিপোজিটরিতে একগুচ্ছ NLP পরীক্ষা এবং ইমপ্লিমেন্টেশন রয়েছে। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - Word Vector Models: Continuous Bag of Words (CBOW) এবং Skip-gram-এর ইমপ্লিমেন্টেশন, যার মধ্যে ট্রেনিং স্ক্রিপ্ট এবং উদাহরণ জেনারেটর অন্তর্ভুক্ত। - Text Processing: টোকেনাইজেশন, ভোকাবুলারি ম্যাপিং এবং BNC corpus থেকে ডেটা পড়ার টুলস। - Classical NLP: Jurafsky এবং Martin-এর অনুশীলনের ওপর ভিত্তি করে tf-idf অ্যালগরিদম এবং n-gram টেবিল নির্মাণ/জেনারেট করার ইমপ্লিমেন্টেশন। - Advanced Models: PyTorch ব্যবহার করে একটি Transformer মডেলের টিউটোরিয়াল ইমপ্লিমেন্টেশন এবং distance-dependent Chinese Restaurant Process (CRP)-এর একটি ইমপ্লিমেন্টেশন। - Utility: কমান্ড-লাইন ইন্টারফেস সহ প্রোগ্রাম স্ট্রাকচার করার জন্য একটি command-pattern ফ্রেমওয়ার্ক।