প্রকল্প সম্পর্কে

সেন্টেন্স ট্রান্সফরমার একটি পাইথন ফ্রেমওয়ার্ক যা টেক্সটের জন্য ঘন (dense), স্পার্স (sparse) এবং মাল্টি-ভেক্টর এমবেডিং হিসাব করার পাশাপাশি প্যাসেজ রির্যাংকিংয়ের জন্য ব্যবহৃত হয়। এটি হাগিং ফেস থেকে প্রি-ট্রেইনড মডেল লোড করা, বাক্য এনকোড করা এবং সাদৃশ্য স্কোর গণনা করার জন্য সহজ API প্রদান করে। ফ্রেমওয়ার্কটি চার ধরনের মডেল সমর্থন করে: সেন্টেন্স ট্রান্সফরমার (ঘন এমবেডিং), ক্রস-এনকোডার (রির্যাংকার), স্পার্স এনকোডার (SPLADE-স্টাইল স্পার্স এমবেডিং) এবং মাল্টি-ভেক্টর এনকোডার (ColBERT-স্টাইল লেট ইন্টারঅ্যাকশন)। এতে ১৫,০০০-এর বেশি প্রি-ট্রেইনড মডেল রয়েছে, বিভিন্ন লস ফাংশন দিয়ে প্রশিক্ষণ ও ফাইন-টিউনিং সমর্থন করে, এবং সেমান্টিক সার্চ, ক্লাস্টারিং ও প্যারাফ্রেজ মাইনিংয়ের মতো অ্যাপ্লিকেশনের জন্য বিস্তারিত ডকুমেন্টেশন এবং উদাহরণ প্রদান করে।