sglang-omni

SGLang-Omni، SGLang پروجیکٹ کا ایک سروِنگ فریم ورک ہے جو omni، اسپیچ اور ٹیکسٹ ٹو اسپیچ ماڈلز کے لیے بنایا گیا ہے۔ یہ جنریشن کو ایک واحد یک سنگی مرحلے کے طور پر نہیں بلکہ ایک مربوط مراحل کی پائپ لائن کے طور پر ماڈل کرتا ہے: پری پروسیسنگ، انکوڈرز، آٹو ریگریسیو انجنز، ٹاکرز، ڈیکوڈرز، ووکوڈرز اور ایگریگیٹرز۔ ہر مرحلہ اپنے ورک لوڈ کے مطابق شیڈولر کے پیچھے چلتا ہے، اور ایک کنٹرول پلین درخواستوں کو مربوط کرتا ہے جبکہ ایک ریلے ڈیٹا پلین ٹینسر پے لوڈز کو شیئرڈ میموری، NCCL، NIXL اور Mooncake بیک اینڈز کے ذریعے منتقل کرتا ہے۔ جہاں قابل اطلاق ہو، یہ آٹو ریگریسیو شیڈولنگ اور ماڈل ایگزیکیوشن کے لیے SGLang کے ساتھ کمپوز کرتا ہے۔ یہ پروجیکٹ OpenAI کے ساتھ مطابقت رکھنے والی API سطح فراہم کرتا ہے جس میں ملٹی موڈل چیٹ، اسپیچ جنریشن، بیچ اور اسٹریمنگ اسپیچ، اپ لوڈ شدہ آوازیں، اور آڈیو ٹرانسکرپشن شامل ہیں۔ ایک علیحدہ SGLang-Omni Router ملٹی ورکر فرنٹ ڈور کے طور پر کام کرتا ہے جس میں ہیلتھ، ریڈی نیس، لائف سائیکل اور کیپبلٹی ڈسکوری شامل ہے۔ README میں بیان کردہ ماڈل کوریج میں omni چیٹ اور اسپیچ ماڈلز جیسے Qwen3-Omni اور Ming-Omni؛ MiniMax Music 3 کے ساتھ میوزک جنریشن (لیرکس پلس کیپشن سے 32 kHz اسٹیریو)؛ Higgs Audio v3، MOSS-TTS، MOSS-TTS Local، Fish Speech S2-Pro، Qwen3-TTS، Voxtral TTS، Ming-Omni-TTS، dots.tts اور ZONOS2 کے ساتھ اسپیچ جنریشن؛ اور Qwen3-ASR، Fun-ASR، ARK-ASR اور MOSS-Transcribe-Diarize کے ساتھ ٹرانسکرپشن/ڈائریائزیشن شامل ہیں، جس میں مؤخر الذکر verbose_json کے ذریعے اسپیکر لیبلز اور ٹائم اسٹیمپس کو سپورٹ کرتا ہے۔ حالیہ خبروں میں AuK اور AuK-Flash کی ٹیکسٹ/وائس ہدایات اور آڈیو ایڈیٹنگ کے لیے سپورٹ کا بھی ذکر ہے۔ ہارڈ ویئر سپورٹ کو NVIDIA CUDA (ڈیفالٹ، مکمل ماڈل کوریج)، Apple Silicon (تجرباتی، macOS arm64 پر MLX یا Torch MPS کے ذریعے Qwen3-ASR) اور Intel XPU (تجرباتی، Qwen3-ASR، Qwen3-TTS اور Qwen3-Omni کے ساتھ اینڈ ٹو اینڈ سروِنگ اور خودکار طور پر شناخت شدہ بیک اینڈ) کے طور پر دستاویز کیا گیا ہے۔ انسٹالیشن PyPI سے دستیاب ہے، macOS Apple Silicon کے لیے ایک کمانڈ والا انسٹال اسکرپٹ موجود ہے، اور وسیع دستاویزات، کوک بک اور ڈویلپر ریفرنس لنکس فراہم کیے گئے ہیں۔ یہ پروجیکٹ ایک اوپن سورس لائسنس کے تحت لائسنس یافتہ ہے اور انفرنس سسٹمز، کرنلز، شیڈولنگ، انٹر اسٹیج کمیونیکیشن، ماڈل رنرز، بینچ مارکنگ اور ڈیپلائمنٹ کے گرد تعاون کا خیرمقدم کرتا ہے۔