whisperlivekit

WhisperLiveKit(WLK)는 초저지연 실시간 자막 작성용 오픈소스 자체 호스팅 음성-텍스트 파이프라인입니다. pip를 통해 설치 가능하며, 서버 시작, 오디오 파일 자막 작성, SRT 자막 생성, 모델 관리 등을 위한 CLI를 제공합니다. WLK는 다음과 같은 다양한 스트리밍 음성 처리 전략과 백엔드를 통합합니다: - Faster-Whisper, MLX, 기본 Whisper를 통한 Whisper 계열 모델 - 청크별 언어 감지가 가능한 다국어 음성 인식용 Voxtral Mini - 특정 언어용 FunASR SenseVoiceSmall - 청크당 일정 연산의 캐주얼 모드를 포함한 스트리밍 자막 작성용 Qwen3-ASR - NVIDIA Canary-1b-v2 via NeMo(유럽 언어용) WLK는 NLLB 또는 Alignatt4LLM을 통해 200개 언어 간 실시간 번역을 지원합니다. Streaming Sortformer 또는 Diart 기반 실시간 화자 분할(diarization) 기능도 제공합니다. 서버는 실시간 스트리밍을 위한 기본 WebSocket 엔드포인트와 OpenAI 호환 REST, Deepgram 호환 WebSocket API를 노출합니다. 동시 다중 사용자, 오버헤드 감소를 위한 음성 활동 감지(VAD), 언어/번역 대상/용어 컨텍스트/프로토콜 모드 등의 세션별 파라미터를 지원합니다. 저장소에는 번들 웹 UI, 웹 오디오 캡처 Chrome 확장 프로그램, 기본 SwiftUI macOS 클라이언트가 포함되어 있습니다.