इस प्रोजेक्ट के बारे में

विस्पर लाइव किट (WLK) अल्ट्रा-लो-लेटेंसी वास्तविक समय ट्रांसक्रिप्शन के लिए डिज़ाइन किया गया एक ओपन-सोर्स, स्व-होस्टेड स्पीच-टू-टेक्स्ट पाइपलाइन है। इसे pip के माध्यम से इंस्टॉल किया जा सकता है और यह सर्वर शुरू करने, ऑडियो फ़ाइलों का ट्रांसक्राइब करने, SRT साबटाइटल बनाने और मॉडल प्रबंधित करने के लिए एक कमांड-लाइने इंटरफ़ेस प्रदान करता है। यह किट निम्न सहित कई स्ट्रीमिंग स्पीच प्रोसेसिंग रणनीतियों और बैकएंड को एकीकृत करता है: - फैस्टर-विस्पर, MLX या वैनिला विस्पर के माध्यम से विस्पर-फैमिली मॉडल। - चंक-प्रति भाषा पहचान के साथ बहुभाषी स्पीच रिकग्निशन के लिए वॉक्सट्रल मिनी। - विशिष्ट भाषाओं के लिए फनएएसआर सेन्सवॉइसस्मॉल। - लगातार कंप्यूटेशन प्रदान करने वाले काज़ुवल मोड सहित स्ट्रीमिंग ट्रांसक्रिप्शन के लिए क्वेन3-एएसआर। - यूरोपीय भाषाओं के लिए नेमो के माध्यम से एनवीडिया कैनरी-1b-v2। WLK NLLW या अलाइनएटीटी4एलएलएम का उपयोग करके 200 भाषाओं में एक साथ अनुवाद का समर्थन करता है। इसमें स्ट्रीमिंग सॉर्टफॉर्मर या डियार्ट के माध्यम से वास्तविक समय वक्ता डायरीकरण की सुविधा भी है। सर्वर वास्तविक समय स्ट्रीमिंग के लिए एक नेटिव वेबسوकेट एंडपॉइंट के अलावा ओपनएआई-कम्पैटिबल REST और डीपग्रेम-कम्पैटिबल वेबسوकेट एपीआई प्रदान करता है। यह एक साथ कई उपयोगकर्ताओं, ओवरहेड कम करने के लिए वॉइस एक्टिविटी डिटक्शन (VAD), और भाषा, अनुवाद लक्ष्य, शब्दकोश संदर्भ और प्रोटोकॉल मोड के लिए प्रति-सत्र पैरामीटर्स का समर्थन करता है। रिपॉजिटरी में एक बंडल्ड वेब यूआई, वेब ऑडियो कैप्चर करने के लिए एक क्रोम एक्सटेंशन, और एक नेटिव एस्विफ्टएल आरसी मैकओएस क्लाइंट शामिल है।