xiaozhi-esp32

XiaoZhi ESP32は、ESP32ハードウェア上で音声対話AIチャットボットを構築するためのオープンソースファームウェアプロジェクトです。会話バックエンドとしてQwenやDeepSeekなどの大規模言語モデルを使用し、MCPプロトコルを採用してマルチターミナル制御を可能にします。 READMEに記載されている主な機能： - ネットワークオプション：Wi-Fi、有線Ethernet、USB RNDIS、ML307/EC801EまたはNT26 Cat.1 4G。対応ボードではWi-Fiと4Gを切り替え可能。 - ESP-SRによるオフライン音声ウェイクアップ。ウェイクワードはカスタマイズ可能。 - 通信トランスポートは2種類：WebSocketとMQTT+UDP。 - Opusオーディオストリーミングと、ストリーミングASR+LLM+TTSパイプライン、さらにRealtimeエンドツーエンド音声モデルに対応。AEC対応ハードウェアではリアルタイム全二重対話をサポート。 - 3D Speakerを使用した話者認識。 - 絵文字や表情に対応したOLED/LCDディスプレイ。対応ボードではカメラによる視覚入力も可能。 - バッテリー表示と電源管理。 - 39のインターフェース言語に対応。利用可能な場合はローカライズされた音声プロンプト、フォールバックとして英語。 - 対応チップ：ESP32、ESP32-C3、ESP32-C5、ESP32-C6、ESP32-S3、ESP32-P4。 - ホットスポットまたはBluFiによるWi-Fiプロビジョニング。 - デバイス側MCP：Speaker、LED、Servo、GPIOなどを制御。 - クラウド側MCP：モデルの機能を拡張（スマートホーム制御、PCデスクトップ操作、知識検索、メールなど）。 - オンラインのWebベースエディタで、ウェイクワード、フォント、絵文字、チャット背景をカスタマイズ可能。 このプロジェクトは138のボードディレクトリと171のリリースバリアントをサポートしていると報告されています。ハードウェアリストの一部には、LiChuang ESP32-S3、Espressif ESP32-S3-BOX-3、M5Stack CoreS3、AtomS3R + Echo Base、Magic Button 2.4、Waveshare ESP32-S3-Touch-AMOLED-1.8、LILYGO T-Circle-S3、XiaGe Mini C3、CuiCan AI Pendant、WMnologo-Xingzhi-1.54TFT、SenseCAP Watcher、ESP-HI低コストロボット犬が含まれます。 開発にはESP-IDF v6.0.1以降が必要です（v6.1推奨）。ESP-IDF 5.xはサポートされなくなりました。プロジェクトはGoogle C++コードスタイルを使用しています。ドキュメントはカスタムボード、MCPプロトコルの使用方法と対話フロー、MQTT+UDP、WebSocketプロトコルをカバーしています。ファームウェアは開発環境なしでフラッシュでき、デフォルトで公式のxiaozhi.meサーバーに接続します。個人ユーザーは登録してQwenリアルタイムモデルを無料で利用できます。 関連するオープンソースのサーバーおよびクライアントプロジェクトは、Python、Java、Go、Android、Linux、その他のプラットフォームに存在します。このプロジェクトはMITライセンスの下でリリースされており、商用を含む自由な使用が許可されています。