इस प्रोजेक्ट के बारे में

हाकुमेई (薄明/拍命) एक जापानी ग्राफीम-से-फोनीम (G2P) लाइब्रेरी है जो Rust में कार्यान्वित है, जिसमें Python बाइंडिंग और एक कमांड-लाइन इंटरफ़ेस शामिल है। यह जापानी पाठ को फोनीम अनुक्रमों में परिवर्तित करता है, जो वाक् संश्लेषण और टेक्स्ट-टू-स्पीच फ्रंटएंड के लिए सटीक और विस्तृत भाषाई विश्लेषण प्रदान करता है। **मुख्य क्षमताएँ** लाइब्रेरी कई प्रमुख API प्रदान करती है: - `g2p`: बुनियादी टेक्स्ट-से-फोनीम रूपांतरण - `g2k`: टेक्स्ट-से-काटाकाना पठन रूपांतरण - `g2p_prosody`: प्रोसोडिक प्रतीकों (पिच वृद्धि/गिरावट, वाक्यांश सीमाएँ, विराम) के साथ एनोटेटेड फोनीम अनुक्रम - `g2p_mapping`: अज्ञात शब्द पहचान के साथ शब्द-फोनीम मैपिंग - `g2p_mapping_detailed`: भाषण-भाग और उच्चारण जानकारी सहित विस्तृत मैपिंग - `g2p_mapping_prosody`: प्रोसोडी, पिच और रूपात्मक जानकारी के साथ संरचित मैपिंग - `g2p_candidates`: अस्पष्ट पाठ के लिए कई पठन उम्मीदवार **सटीकता** Haqumei jsut-label बेंचमार्क पर 0.83% फोनीम त्रुटि दर (PER) और ROHAN पर 0.78% काटाकाना त्रुटि दर (KER) प्राप्त करता है, जो pyopenjtalk (1.31% PER, 5.02% KER) और pyopenjtalk-plus (1.09% PER, 1.60% KER) से बेहतर प्रदर्शन करता है। सटीकता में सुधार pyopenjtalk-plus के शब्दकोश और तकनीकों पर आधारित हैं। **विशेषताएँ** - **शब्द-फोनीम मैपिंग**: शब्दों और फोनीम के बीच मैपिंग प्रदान करता है, जिसमें अज्ञात शब्दों (`unk`) और रिक्त स्थानों (`sp`) का पता लगाना शामिल है, जिससे इनपुट पाठ से न्यूनतम जानकारी हानि संभव होती है। - **प्रोसोडी जानकारी**: पिच उच्च/निम्न एनोटेशन, उच्चारण वाक्यांश सीमाओं और प्रोसोडिक प्रतीकों के साथ कई प्रोसोडी प्रारूपों (Default, Prefix, Numeric) का समर्थन करता है। - **एलोफोन समाधान**: समर्पित फोनीम लेबल के साथ मोराइक नासिक्य (撥音) और जेमिनेट व्यंजन (促音) को संभालता है। - **अज्ञात शब्द फॉलबैक**: haqumei-kanalizer के माध्यम से अंग्रेजी शब्दों के लिए पठन अनुमान, कांजी के लिए ओन्योमी फॉलबैक, और केवल-काटाकाना शब्दों के लिए उच्चारण सुधार। - **समवर्तिता**: मल्टी-थ्रेडेड G2P संचालन के लिए बैच प्रोसेसिंग विधियाँ। - **कस्टम विकल्प**: एलोफोन लेबल, यूनिकोड सामान्यीकरण और पठन व्यवहार के लिए लचीला कॉन्फ़िगरेशन। - **कस्टम शब्दकोश**: कस्टम एम्बेडेड शब्दकोशों के साथ निर्माण का समर्थन। **स्थापना** - Rust: `cargo add haqumei` - Python: `pip install haqumei` (Linux x86_64/aarch64, macOS aarch64, Windows x86_64 के लिए पूर्व-निर्मित व्हील) - CLI: `cargo install haqumei-cli` **तकनीकी विवरण** लाइब्रेरी रूपात्मक विश्लेषण के लिए MeCab का उपयोग करती है और HTS-प्रारूप पूर्ण-संदर्भ लेबल प्रारूप का विस्तार करती है। यह निर्माण प्रक्रिया के दौरान एक शब्दकोश एम्बेड करती है (जब तक कि कस्टम शब्दकोश प्रदान न किया जाए, नेटवर्क से डाउनलोड किया जाता है)। Python बाइंडिंग पूर्व-निर्मित व्हील का उपयोग करती हैं जिनमें शब्दकोश शामिल होता है, स्थापना के दौरान नेटवर्क एक्सेस की आवश्यकता नहीं होती। **लाइसेंस** Apache-2.0