इस प्रोजेक्ट के बारे में

XiaoZhi ESP32 एक ओपन-सोर्स फर्मवेयर परियोजना है जो ESP32 हार्डवेयर पर वॉइस-इंटरैक्शन AI चैटबॉट बनाने के लिए है। यह वार्तालाप बैकएंड के रूप में Qwen और DeepSeek जैसे बड़े भाषा मॉडल का उपयोग करता है और मल्टी-टर्मिनल नियंत्रण सक्षम करने के लिए MCP प्रोटोकॉल का उपयोग करता है। README में वर्णित प्रमुख क्षमताएँ: - नेटवर्किंग विकल्प: Wi-Fi, वायर्ड Ethernet, USB RNDIS, और ML307/EC801E या NT26 Cat.1 4G; समर्थित बोर्ड Wi-Fi और 4G के बीच स्विच कर सकते हैं। - ESP-SR के माध्यम से ऑफ़लाइन वॉइस वेक-अप, अनुकूलन योग्य वेक शब्दों के साथ। - दो संचार ट्रांसपोर्ट: WebSocket और MQTT + UDP। - Opus ऑडियो स्ट्रीमिंग के साथ स्ट्रीमिंग ASR + LLM + TTS पाइपलाइन, साथ ही Realtime एंड-टू-एंड वॉइस मॉडल; AEC-सक्षम हार्डवेयर रीयलटाइम फुल-डुप्लेक्स इंटरैक्शन का समर्थन करता है। - 3D Speaker का उपयोग करके स्पीकर पहचान। - OLED/LCD डिस्प्ले इमोजी और एक्सप्रेशन समर्थन के साथ, साथ ही समर्थित बोर्डों पर कैमरा विज़न इनपुट। - बैटरी प्रदर्शन और पावर प्रबंधन। - 39 इंटरफ़ेस भाषाएँ उपलब्ध स्थानीयकृत वॉइस प्रॉम्प्ट के साथ और अंग्रेजी फ़ॉलबैक। - चिप समर्थन: ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3, ESP32-P4। - हॉटस्पॉट या BluFi के माध्यम से Wi-Fi प्रावधान। - स्पीकर, LED, सर्वो, GPIO आदि को नियंत्रित करने के लिए डिवाइस-साइड MCP। - मॉडल क्षमताओं का विस्तार करने के लिए क्लाउड-साइड MCP (स्मार्ट होम नियंत्रण, पीसी डेस्कटॉप ऑपरेशन, ज्ञान खोज, ईमेल आदि)। - ऑनलाइन वेब-आधारित संपादक के माध्यम से अनुकूलन योग्य वेक शब्द, फ़ॉन्ट, इमोजी और चैट बैकग्राउंड। परियोजना 138 बोर्ड निर्देशिकाओं और 171 रिलीज़ वेरिएंट के लिए समर्थन की रिपोर्ट करती है, जिसमें आंशिक हार्डवेयर सूची शामिल है: LiChuang ESP32-S3, Espressif ESP32-S3-BOX-3, M5Stack CoreS3, AtomS3R + Echo Base, Magic Button 2.4, Waveshare ESP32-S3-Touch-AMOLED-1.8, LILYGO T-Circle-S3, XiaGe Mini C3, CuiCan AI Pendant, WMnologo-Xingzhi-1.54TFT, SenseCAP Watcher, और ESP-HI लो-कॉस्ट रोबोट डॉग। विकास के लिए ESP-IDF v6.0.1 या बाद के संस्करण की आवश्यकता होती है (v6.1 अनुशंसित); ESP-IDF 5.x अब समर्थित नहीं है। परियोजना Google C++ कोड शैली का उपयोग करती है। दस्तावेज़ीकरण कस्टम बोर्ड, MCP प्रोटोकॉल उपयोग और इंटरैक्शन प्रवाह, MQTT+UDP, और WebSocket प्रोटोकॉल को कवर करता है। फर्मवेयर को विकास वातावरण के बिना फ्लैश किया जा सकता है और डिफ़ॉल्ट रूप से आधिकारिक xiaozhi.me सर्वर से कनेक्ट होता है, जहां व्यक्तिगत उपयोगकर्ता मुफ्त में Qwen रीयलटाइम मॉडल का उपयोग करने के लिए पंजीकरण कर सकते हैं। संबंधित ओपन-सोर्स सर्वर और क्लाइंट प्रोजेक्ट Python, Java, Go, Android, Linux और अन्य प्लेटफार्मों में मौजूद हैं। परियोजना MIT लाइसेंस के तहत जारी की गई है, जो व्यावसायिक उद्देश्यों सहित मुफ्त उपयोग की अनुमति देती है।