xiaozhi-esp32

XiaoZhi ESP32는 ESP32 하드웨어에서 음성 상호작용 AI 챗봇을 구축하기 위한 오픈소스 펌웨어 프로젝트입니다. 대화 백엔드로 Qwen 및 DeepSeek과 같은 대형 언어 모델을 사용하며, MCP 프로토콜을 통해 다중 단말 제어를 가능하게 합니다. README에 설명된 주요 기능: - 네트워킹 옵션: Wi-Fi, 유선 이더넷, USB RNDIS, ML307/EC801E 또는 NT26 Cat.1 4G; 지원되는 보드는 Wi-Fi와 4G 간 전환이 가능합니다. - ESP-SR을 통한 오프라인 음성 웨이크업, 사용자 정의 웨이크 워드 지원. - 두 가지 통신 전송: WebSocket 및 MQTT + UDP. - Opus 오디오 스트리밍과 스트리밍 ASR + LLM + TTS 파이프라인, 그리고 Realtime end-to-end 음성 모델; AEC 지원 하드웨어는 실시간 전이중 상호작용을 지원합니다. - 3D Speaker를 사용한 화자 인식. - OLED/LCD 디스플레이에 이모지 및 표정 지원, 지원 보드에서는 카메라 비전 입력도 가능. - 배터리 표시 및 전원 관리. - 39개 인터페이스 언어, 가능한 경우 현지화된 음성 프롬프트, 영어 폴백. - 칩 지원: ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3, ESP32-P4. - 핫스팟 또는 BluFi를 통한 Wi-Fi 프로비저닝. - 스피커, LED, 서보, GPIO 등을 제어하기 위한 기기 측 MCP. - 모델 기능 확장을 위한 클라우드 측 MCP (스마트 홈 제어, PC 데스크톱 조작, 지식 검색, 이메일 등). - 온라인 웹 기반 편집기를 통해 웨이크 워드, 글꼴, 이모지, 채팅 배경을 사용자 정의할 수 있습니다. 이 프로젝트는 138개의 보드 디렉토리와 171개의 릴리스 변형을 지원한다고 보고하며, 부분 하드웨어 목록에는 LiChuang ESP32-S3, Espressif ESP32-S3-BOX-3, M5Stack CoreS3, AtomS3R + Echo Base, Magic Button 2.4, Waveshare ESP32-S3-Touch-AMOLED-1.8, LILYGO T-Circle-S3, XiaGe Mini C3, CuiCan AI Pendant, WMnologo-Xingzhi-1.54TFT, SenseCAP Watcher, 그리고 ESP-HI 저비용 로봇 개가 포함됩니다. 개발에는 ESP-IDF v6.0.1 이상이 필요합니다 (v6.1 권장). ESP-IDF 5.x는 더 이상 지원되지 않습니다. 프로젝트는 Google C++ 코드 스타일을 사용합니다. 문서는 사용자 정의 보드, MCP 프로토콜 사용 및 상호작용 흐름, MQTT+UDP, WebSocket 프로토콜을 다룹니다. 펌웨어는 개발 환경 없이 플래시할 수 있으며 기본적으로 공식 xiaozhi.me 서버에 연결됩니다. 개인 사용자는 등록하여 Qwen 실시간 모델을 무료로 사용할 수 있습니다. 관련 오픈소스 서버 및 클라이언트 프로젝트는 Python, Java, Go, Android, Linux 및 기타 플랫폼에 존재합니다. 이 프로젝트는 MIT 라이선스로 배포되며, 상업적 목적을 포함한 무료 사용을 허용합니다.