Об этом проекте

XiaoZhi ESP32 — это проект прошивки с открытым исходным кодом для создания голосового ИИ-чат-бота на оборудовании ESP32. В качестве диалогового бэкенда используются большие языковые модели, такие как Qwen и DeepSeek, а для многотерминального управления применяется протокол MCP. Ключевые возможности, описанные в README: - Варианты подключения к сети: Wi-Fi, проводной Ethernet, USB RNDIS и ML307/EC801E или NT26 Cat.1 4G; поддерживаемые платы могут переключаться между Wi-Fi и 4G. - Офлайн-пробуждение по голосу через ESP-SR с настраиваемыми словами пробуждения. - Два транспортных протокола связи: WebSocket и MQTT + UDP. - Аудиопоток Opus с конвейерами потокового ASR + LLM + TTS, а также сквозные модели реального времени для голоса; оборудование с AEC поддерживает полноценное полнодуплексное взаимодействие в реальном времени. - Распознавание диктора с помощью 3D Speaker. - OLED/LCD-дисплеи с поддержкой эмодзи и выражений лица, а также видеовход камеры на поддерживаемых платах. - Отображение заряда батареи и управление питанием. - 39 языков интерфейса с локализованными голосовыми подсказками там, где они доступны, и запасным вариантом на английском. - Поддерживаемые чипы: ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3, ESP32-P4. - Настройка Wi-Fi через точку доступа или BluFi. - MCP на стороне устройства для управления Speaker, LED, Servo, GPIO и т.д. - MCP на стороне облака для расширения возможностей модели (управление умным домом, работа с рабочим столом ПК, поиск знаний, электронная почта и т.д.). - Настраиваемые слова пробуждения, шрифты, эмодзи и фоны чата через онлайн-веб-редактор. Проект сообщает о поддержке 138 каталогов плат и 171 варианта релиза, а частичный список оборудования включает LiChuang ESP32-S3, Espressif ESP32-S3-BOX-3, M5Stack CoreS3, AtomS3R + Echo Base, Magic Button 2.4, Waveshare ESP32-S3-Touch-AMOLED-1.8, LILYGO T-Circle-S3, XiaGe Mini C3, CuiCan AI Pendant, WMnologo-Xingzhi-1.54TFT, SenseCAP Watcher и недорогого робота-собаку ESP-HI. Для разработки требуется ESP-IDF v6.0.1 или новее (рекомендуется v6.1); ESP-IDF 5.x больше не поддерживается. Проект использует стиль кода Google C++. Документация охватывает пользовательские платы, использование протокола MCP и поток взаимодействия, MQTT+UDP и протоколы WebSocket. Прошивку можно прошить без среды разработки; по умолчанию она подключается к официальному серверу xiaozhi.me, где личные пользователи могут зарегистрироваться и бесплатно использовать модель Qwen реального времени. Существуют связанные проекты открытого сервера и клиента на Python, Java, Go, Android, Linux и других платформах. Проект выпущен под лицензией MIT, разрешающей свободное использование, включая коммерческие цели.