প্রকল্প সম্পর্কে

XiaoZhi ESP32 হল একটি ওপেন-সোর্স ফার্মওয়্যার প্রজেক্ট যা ESP32 হার্ডওয়্যারে ভয়েস-ইন্টারঅ্যাকশন AI চ্যাটবট তৈরির জন্য। এটি কথোপকথন ব্যাকএন্ড হিসেবে Qwen এবং DeepSeek-এর মতো বড় ভাষা মডেল ব্যবহার করে এবং মাল্টি-টার্মিনাল নিয়ন্ত্রণ সক্ষম করতে MCP প্রোটোকল নিযুক্ত করে। README-তে বর্ণিত মূল ক্ষমতাসমূহ: - নেটওয়ার্কিং বিকল্প: Wi-Fi, ওয়্যার্ড ইথারনেট, USB RNDIS, এবং ML307/EC801E বা NT26 Cat.1 4G; সমর্থিত বোর্ডগুলি Wi-Fi এবং 4G-এর মধ্যে সুইচ করতে পারে। - ESP-SR-এর মাধ্যমে অফলাইন ভয়েস ওয়েক-আপ, কাস্টমাইজযোগ্য ওয়েক শব্দসহ। - দুটি কমিউনিকেশন ট্রান্সপোর্ট: WebSocket এবং MQTT + UDP। - Opus অডিও স্ট্রিমিং যা স্ট্রিমিং ASR + LLM + TTS পাইপলাইনসহ, প্লাস রিয়েলটাইম এন্ড-টু-এন্ড ভয়েস মডেল; AEC-সক্ষম হার্ডওয়্যার রিয়েলটাইম ফুল-ডুপ্লেক্স ইন্টারঅ্যাকশন সমর্থন করে। - 3D স্পিকার ব্যবহার করে স্পিকার শনাক্তকরণ। - OLED/LCD ডিসপ্লে যা ইমোজি এবং এক্সপ্রেশন সমর্থন করে, প্লাস সমর্থিত বোর্ডগুলিতে ক্যামেরা ভিশন ইনপুট। - ব্যাটারি ডিসপ্লে এবং পাওয়ার ম্যানেজমেন্ট। - ৩৯টি ইন্টারফেস ভাষা যেখানে উপলব্ধ স্থানীয় ভয়েস প্রম্পট এবং ইংরেজি ফলব্যাক। - চিপ সমর্থন: ESP32, ESP32-C3, ESP32-C5, ESP32-C6, ESP32-S3, ESP32-P4। - হটস্পট বা BluFi-এর মাধ্যমে Wi-Fi প্রোভিশনিং। - স্পিকার, LED, সার্ভো, GPIO ইত্যাদি নিয়ন্ত্রণের জন্য ডিভাইস-সাইড MCP। - মডেল ক্ষমতা বাড়ানোর জন্য ক্লাউড-সাইড MCP (স্মার্ট হোম কন্ট্রোল, পিসি ডেস্কটপ অপারেশন, নলেজ সার্চ, ইমেইল ইত্যাদি)। - অনলাইন ওয়েব-ভিত্তিক এডিটরের মাধ্যমে কাস্টমাইজযোগ্য ওয়েক শব্দ, ফন্ট, ইমোজি এবং চ্যাট ব্যাকগ্রাউন্ড। প্রজেক্টটি ১৩৮টি বোর্ড ডিরেক্টরি এবং ১৭১টি রিলিজ ভেরিয়েন্টের জন্য সমর্থন রিপোর্ট করে, যার মধ্যে আংশিক হার্ডওয়্যার তালিকা: LiChuang ESP32-S3, Espressif ESP32-S3-BOX-3, M5Stack CoreS3, AtomS3R + Echo Base, Magic Button 2.4, Waveshare ESP32-S3-Touch-AMOLED-1.8, LILYGO T-Circle-S3, XiaGe Mini C3, CuiCan AI Pendant, WMnologo-Xingzhi-1.54TFT, SenseCAP Watcher, এবং একটি ESP-HI কম খরচের রোবট ডগ। ডেভেলপমেন্টের জন্য ESP-IDF v6.0.1 বা তার পরে প্রয়োজন (v6.1 সুপারিশকৃত); ESP-IDF 5.x আর সমর্থিত নয়। প্রজেক্টটি Google C++ কোড স্টাইল ব্যবহার করে। ডকুমেন্টেশন কাস্টম বোর্ড, MCP প্রোটোকল ব্যবহার ও ইন্টারঅ্যাকশন ফ্লো, MQTT+UDP, এবং WebSocket প্রোটোকল কভার করে। ফার্মওয়্যার ডেভেলপমেন্ট এনভায়রনমেন্ট ছাড়াই ফ্ল্যাশ করা যায় এবং ডিফল্টভাবে অফিসিয়াল xiaozhi.me সার্ভারে সংযোগ করে, যেখানে ব্যক্তিগত ব্যবহারকারীরা নিবন্ধন করে বিনামূল্যে Qwen রিয়েল-টাইম মডেল ব্যবহার করতে পারেন। সম্পর্কিত ওপেন-সোর্স সার্ভার এবং ক্লায়েন্ট প্রজেক্ট Python, Java, Go, Android, Linux এবং অন্যান্য প্ল্যাটফর্মে বিদ্যমান। প্রজেক্টটি MIT লাইসেন্সের অধীনে প্রকাশিত, যা বাণিজ্যিক উদ্দেশ্যসহ বিনামূল্যে ব্যবহারের অনুমতি দেয়।