ওপেন সোর্স। নতুন সম্ভাবনা।

SGLang হলো লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) এবং মাল্টিমোডাল মডেলের জন্য একটি উচ্চ-ক্ষমতাসম্পন্ন সার্ভিং ফ্রেমওয়ার্ক, যা লো-ল্যাটেন্সি এবং হাই-থ্রুপুট ইনফারেন্সের জন্য ডিজাইন করা হয়েছে।

labml.ai প্রকল্পটি ডিপ লার্নিং পেপার ও অ্যালগরিদমের ৬০টিরও বেশি PyTorch ইমপ্লিমেন্টেশন প্রদান করে, প্রতিটিতে পাশাপাশি ব্যাখ্যামূলক নোট রয়েছে। ট্রান্সফরমার, জিএন, ডিফিউশন মডেল, আরএল, অপ্টিমাইজারসহ বিস্তৃত বিষয় কভার করা হয়েছে।

একটি ছোট GPT ভাষা মডেল (~৫৪০M প্যারামিটার) যা ভোক্তা ল্যাপটপ হার্ডওয়্যারে স্ক্র্যাচ থেকে প্রশিক্ষণের জন্য ডিজাইন করা হয়েছে, সাথে Fineweb-edu-তে প্রিট্রেনিং এবং চ্যাট ফাইনটিউনিং ক্ষমতা রয়েছে।

vLLM হলো একটি উচ্চ-থ্রুপুট এবং মেমরি-দক্ষ লাইব্রেরি যা Large Language Model (LLM) ইনফারেন্স এবং সার্ভিংয়ের জন্য ডিজাইন করা হয়েছে।

OpenAI-এর Whisper অটোমেটিক স্পিচ রিকগনিশন (ASR) মডেলের জন্য একটি উচ্চ-ক্ষমতাসম্পন্ন C/C++ ইমপ্লিমেন্টেশন, যা হালকা এবং ক্রস-প্ল্যাটফর্ম ডেপ্লয়মেন্টের জন্য ডিজাইন করা হয়েছে।

PaddleSeg হল PaddlePaddle ইকোসিস্টেমের একটি এন্ড-টু-এন্ড ইমেজ সেগমেন্টেশন ডেভেলপমেন্ট কিট, যাতে ৪৫+ মডেল অ্যালগরিদম এবং ১৪০+ প্রি-ট্রেইনড মডেল রয়েছে। এটি সেম্যান্টিক, ইন্টারঅ্যাকটিভ, প্যানোপটিক সেগমেন্টেশন, ম্যাটিং এবং ৩ডি মেডিকেল সেগমেন্টেশন কভার করে, এবং ডেটা অ্যানোটেশন থেকে ট্রেনিং, কম্প্রেশন ও ডিপ্লয়মেন্ট পর্যন্ত সম্পূর্ণ প্রক্রিয়া সমর্থন করে।

CTranslate2 ব্যবহার করে OpenAI-এর Whisper মডেলের একটি দ্রুত পুনঃবাস্তবায়ন, যা ট্রান্সক্রিপশন গতি বৃদ্ধি এবং মেমরি ব্যবহার হ্রাস করে।

Hugging Face Transformers হলো টেক্সট, ভিশন, অডিও এবং মাল্টিমোডাল টাস্কের জন্য একটি মেশিন লার্নিং মডেল-ডেফিনিশন ফ্রেমওয়ার্ক। এটি ১ মিলিয়নেরও বেশি প্রি-ট্রেইনড চেকপয়েন্টের সাথে ইনফারেন্স এবং ট্রেনিংয়ের জন্য একটি ইউনিফাইড API প্রদান করে।