প্রকল্প সম্পর্কে

SGLang-Omni হলো SGLang প্রকল্পের একটি সার্ভিং ফ্রেমওয়ার্ক, যা omni, স্পিচ ও টেক্সট-টু-স্পিচ মডেলের জন্য তৈরি। এটি জেনারেশনকে একক ধাপ হিসেবে না দেখে ইনফারেন্সকে সমন্বিত ধাপের পাইপলাইন হিসেবে মডেল করে: প্রিপ্রসেসিং, এনকোডার, অটোরিগ্রেসিভ ইঞ্জিন, টকার, ডিকোডার, ভোকোডার ও অ্যাগ্রিগেটর। প্রতিটি ধাপ তার কাজের চাপ অনুযায়ী উপযুক্ত শিডিউলারের পেছনে চলে, আর একটি কন্ট্রোল প্লেন রিকোয়েস্ট সমন্বয় করে এবং একটি রিলে ডেটা প্লেন শেয়ার্ড-মেমরি, NCCL, NIXL ও Mooncake ব্যাকএন্ডে টেনসর পেলোড স্থানান্তর করে। যেখানে প্রযোজ্য, সেখানে এটি অটোরিগ্রেসিভ শিডিউলিং ও মডেল এক্সিকিউশনের জন্য SGLang-এর সাথে সংযুক্ত হয়। প্রকল্পটি OpenAI-সামঞ্জস্যপূর্ণ API সারফেস প্রকাশ করে, যা মাল্টিমোডাল চ্যাট, স্পিচ জেনারেশন, ব্যাচ ও স্ট্রিমিং স্পিচ, আপলোড করা ভয়েস এবং অডিও ট্রান্সক্রিপশন কভার করে। আলাদা SGLang-Omni Router একটি মাল্টি-ওয়ার্কার ফ্রন্ট ডোর হিসেবে কাজ করে, যেখানে হেলথ, রেডিনেস, লাইফসাইকল ও ক্যাপাবিলিটি ডিসকভারি থাকে। README-তে বর্ণিত মডেল কভারেজের মধ্যে রয়েছে omni চ্যাট ও স্পিচ মডেল যেমন Qwen3-Omni ও Ming-Omni; MiniMax Music 3 দিয়ে মিউজিক জেনারেশন (লিরিক্স ও ক্যাপশন থেকে 32 kHz স্টেরিও); Higgs Audio v3, MOSS-TTS, MOSS-TTS Local, Fish Speech S2-Pro, Qwen3-TTS, Voxtral TTS, Ming-Omni-TTS, dots.tts ও ZONOS2 দিয়ে স্পিচ জেনারেশন; এবং Qwen3-ASR, Fun-ASR, ARK-ASR ও MOSS-Transcribe-Diarize দিয়ে ট্রান্সক্রিপশন/ডায়ারাইজেশন, যার শেষটি verbose_json-এর মাধ্যমে স্পিকার লেবেল ও টাইমস্ট্যাম্প সমর্থন করে। সাম্প্রতিক নিউজ এন্ট্রিতে টেক্সট/ভয়েস নির্দেশনা ও অডিও এডিটিংয়ের জন্য AuK ও AuK-Flash সমর্থনের কথাও উল্লেখ আছে। হার্ডওয়্যার সমর্থন হিসেবে ডকুমেন্ট করা হয়েছে NVIDIA CUDA (ডিফল্ট, সম্পূর্ণ মডেল কভারেজ), Apple Silicon (পরীক্ষামূলক, macOS arm64-এ MLX বা Torch MPS-এর মাধ্যমে Qwen3-ASR) এবং Intel XPU (পরীক্ষামূলক, Qwen3-ASR, Qwen3-TTS ও Qwen3-Omni এন্ড-টু-এন্ড সার্ভিং এবং স্বয়ংক্রিয়ভাবে শনাক্ত করা ব্যাকএন্ডসহ)। ইনস্টলেশন PyPI থেকে পাওয়া যায়, macOS Apple Silicon-এর জন্য এক-কমান্ড ইনস্টল স্ক্রিপ্ট রয়েছে, এবং বিস্তৃত ডকুমেন্টেশন, কুকবুক ও ডেভেলপার রেফারেন্স লিংক দেওয়া হয়েছে। প্রকল্পটি একটি ওপেন-সোর্স লাইসেন্সের অধীনে লাইসেন্সপ্রাপ্ত এবং ইনফারেন্স সিস্টেম, কার্নেল, শিডিউলিং, ইন্টার-স্টেজ কমিউনিকেশন, মডেল রানার, বেঞ্চমার্কিং ও ডিপ্লয়মেন্ট সংক্রান্ত অবদানকে স্বাগত জানায়।