عن المشروع

XiaoZhi ESP32 هو مشروع برنامج تشغيل مفتوح المصدر مصمم لبناء روبوت محادثة تفاعلي بالصوت على أجهزة ESP32. يعتمد المشروع على نماذج لغوية كبيرة مثل Qwen وDeepSeek كخلفية للمحادثة، ويستخدم بروتوكول MCP لتمكين التحكم متعدد الأطراف. القدرات الرئيسية الموصوفة في ملف README: - خيارات الشبكة: Wi-Fi، Ethernet السلكي، USB RNDIS، وML307/EC801E أو NT26 Cat.1 4G؛ يمكن للوحات المدعومة التبديل بين Wi-Fi و4G. - تشغيل الصوت دون اتصال عبر ESP-SR، مع إمكانية تخصيص كلمات التنبيه. - وسيلتا نقل اتصال: WebSocket وMQTT + UDP. - بث صوتي بتقنية Opus مع خطوط معالجة ASR + LLM + TTS متدفقة، بالإضافة إلى نماذج صوتية شاملة في الوقت الفعلي؛ يدعم الأجهزة المزودة بـ AEC التفاعل الكامل في الوقت الفعلي. - التعرف على المتحدث باستخدام 3D Speaker. - شاشات OLED/LCD مع دعم الرموز التعبيرية والتعبيرات، بالإضافة إلى إدخال الرؤية بالكاميرا على اللوحات المدعومة. - عرض حالة البطارية وإدارة الطاقة. - دعم 39 لغة واجهة مع رسائل صوتية محلية حيثما كانت متوفرة، مع خيار الاحتياط باللغة الإنجليزية. - دعم الرقائق: ESP32، ESP32-C3، ESP32-C5، ESP32-C6، ESP32-S3، ESP32-P4. - إعداد Wi-Fi عبر نقطة اتصال أو BluFi. - MCP على جانب الجهاز للتحكم في Speaker، LED، Servo، GPIO، وغيرها. - MCP على جانب السحابة لتوسيع قدرات النموذج (التحكم في المنزل الذكي، تشغيل سطح المكتب للكمبيوتر، البحث في المعرفة، البريد الإلكتروني، وغيرها). - تخصيص كلمات التنبيه، الخطوط، الرموز التعبيرية، وخلفيات المحادثة عبر محرر ويب عبر الإنترنت. يذكر المشروع دعمه لـ 138 مجلد لوحة و171 إصداراً من الإصدارات، مع قائمة جزئية للأجهزة تشمل LiChuang ESP32-S3، Espressif ESP32-S3-BOX-3، M5Stack CoreS3، AtomS3R + Echo Base، Magic Button 2.4، Waveshare ESP32-S3-Touch-AMOLED-1.8، LILYGO T-Circle-S3، XiaGe Mini C3، CuiCan AI Pendant، WMnologo-Xingzhi-1.54TFT، SenseCAP Watcher، وروبوت الكلب منخفض التكلفة ESP-HI. يتطلب التطوير ESP-IDF v6.0.1 أو أحدث (يوصى بـ v6.1)؛ لم يعد ESP-IDF 5.x مدعوماً. يستخدم المشروع نمط كود C++ من Google. تغطي الوثائق اللوحات المخصصة، استخدام بروتوكول MCP وتدفق التفاعل، بروتوكولات MQTT+UDP، وWebSocket. يمكن كتابة البرنامج الثابت دون بيئة تطوير، ويتصل افتراضياً بخادم xiaozhi.me الرسمي، حيث يمكن للمستخدمين الشخصيين التسجيل لاستخدام نموذج Qwen الفوري مجاناً. توجد مشاريع خادم وعميل مفتوحة المصدر ذات صلة في Python، Java، Go، Android، Linux، ومنصات أخرى. تم إصدار المشروع بموجب ترخيص MIT، مما يسمح بالاستخدام المجاني بما في ذلك الأغراض التجارية.