Об этом проекте

SGLang-Omni — это фреймворк обслуживания из проекта SGLang, ориентированный на omni-, речевые модели и модели синтеза речи. Вместо того чтобы рассматривать генерацию как единый монолитный шаг, он моделирует вывод как конвейер скоординированных этапов: предобработка, энкодеры, авторегрессионные движки, talkers, декодеры, вокодеры и агрегаторы. Каждый этап работает за планировщиком, подходящим для его рабочей нагрузки, а управляющий слой координирует запросы, тогда как relay-плоскость данных перемещает тензорные полезные нагрузки через бэкенды shared-memory, NCCL, NIXL и Mooncake. Где применимо, он компонуется с SGLang для авторегрессионного планирования и выполнения моделей. Проект предоставляет OpenAI-совместимую поверхность API, охватывающую мультимодальный чат, генерацию речи, пакетную и потоковую речь, загруженные голоса и транскрипцию аудио. Отдельный SGLang-Omni Router выступает в роли входной точки для нескольких воркеров с проверкой работоспособности, готовности, жизненного цикла и обнаружением возможностей. Охват моделей, описанный в README, включает omni-чат и речевые модели, такие как Qwen3-Omni и Ming-Omni; генерацию музыки с MiniMax Music 3 (текст плюс подпись в стерео 32 кГц); генерацию речи с Higgs Audio v3, MOSS-TTS, MOSS-TTS Local, Fish Speech S2-Pro, Qwen3-TTS, Voxtral TTS, Ming-Omni-TTS, dots.tts и ZONOS2; а также транскрипцию/диаризацию с Qwen3-ASR, Fun-ASR, ARK-ASR и MOSS-Transcribe-Diarize, последняя поддерживает метки говорящих и временные метки через verbose_json. В недавних новостях также упоминается поддержка AuK и AuK-Flash для текстовых/голосовых инструкций и редактирования аудио. Аппаратная поддержка документирована как NVIDIA CUDA (по умолчанию, полный охват моделей), Apple Silicon (экспериментально, Qwen3-ASR через MLX или Torch MPS на macOS arm64) и Intel XPU (экспериментально, с Qwen3-ASR, Qwen3-TTS и Qwen3-Omni, обслуживаемыми end-to-end, и автоматически определяемым бэкендом). Установка доступна из PyPI, с одно-командным установочным скриптом для macOS Apple Silicon, и предоставлены обширная документация, cookbook и ссылки для разработчиков. Проект лицензирован под открытой лицензией и приветствует вклад в области систем вывода, ядер, планирования, межэтапной коммуникации, модельных раннеров, бенчмаркинга и развёртывания.