প্রকল্প সম্পর্কে

Qwen Audio Agent হলো একটি রিয়েলটাইম ভয়েস রানটাইম, যা কথোপকথন এবং দীর্ঘসময় ধরে চলা কাজ—উভয় ক্ষেত্রেই একটি AI এজেন্টকে উপস্থিত রাখার জন্য ডিজাইন করা হয়েছে। ফোরগ্রাউন্ড ভয়েস সেশন শুনতে ও উত্তর দিতে থাকতে পারে, যখন টুল কল, ফাইল কাজ, কোড পরিবর্তন বা অন্যান্য কাজ একটি ব্যাকএন্ড এজেন্টকে ডেলিগেট করা হয়; ব্যবহারকারীরা একই কথোপকথনে স্বাভাবিকভাবে অগ্রগতি জানতে, কাজ বাতিল করতে এবং ফলাফল পেতে পারেন। ডকুমেন্টেড সক্ষমতাগুলোর মধ্যে রয়েছে ফুল-ডুপ্লেক্স রিয়েলটাইম ভয়েস, স্বাভাবিক ইন্টারাপশন, দীর্ঘস্থায়ী মাল্টি-টার্ন ডায়ালগ, অ্যাসিনক্রোনাস টাস্ক তৈরি, স্ট্যাটাস ট্র্যাকিং, প্রতি-ব্যবহারকারীর দীর্ঘমেয়াদি মেমরি এবং ক্রস-সেশন পার্সোনালাইজেশন। রানটাইমটি একটি Gateway, WebUI, টার্মিনাল TUI এবং macOS, Windows ও Linux-এর জন্য একটি ডেস্কটপ ফ্লোটিং অর্ব প্রদান করে। ডেস্কটপ অ্যাপ্লিকেশনটিতে আইডল স্লিপ, লোকাল ভয়েস ওয়েক এবং কাস্টমাইজযোগ্য অ্যাপিয়ারেন্স রয়েছে। ভয়েস ফ্রন্টএন্ডগুলো প্রতিস্থাপনযোগ্য এবং ক্লাউড বা লোকাল ডিপ্লয়মেন্ট সমর্থন করে। তালিকাভুক্ত অপশনগুলোর মধ্যে রয়েছে Qwen Audio রিয়েলটাইম মডেল, OpenAI GPT-Live, Google Gemini Live, Doubao Seeduplex, StepAudio, Hugging Face Speech-to-Speech এবং MiniCPM-o। কিছু ফ্রন্টএন্ড লাইভ ভিডিও বা ক্যামেরা-ফ্রেম ইনপুট সমর্থন করে, আর লোকাল অপশনগুলো কনফিগারযোগ্য VAD, STT, LLM এবং TTS কম্পোনেন্ট ব্যবহার করতে পারে। একটি Realtime Provider ইন্টারফেসের মাধ্যমে অতিরিক্ত সেবা যোগ করা যায়। ব্যাকএন্ড এজেন্টগুলো ACP/A2A-ধাঁচের প্রোটোকল ও অ্যাডাপ্টারের মাধ্যমে স্বতন্ত্রভাবে ইন্টিগ্রেট করে। README-তে Qwen Code, OpenCode, OpenClaw, Qoder, Kimi Code, MiniMax Code, Hermes, CodeBuddy, Codex, Claude Code, DeepSeek Harness, Pi এবং Muse Code তালিকাভুক্ত করা হয়েছে, সাথে একটি ফ্রন্টএন্ড-অনলি মোডও। এটি ইন্টিগ্রেশনের সম্পূর্ণতা ও যাচাইয়ের ভিত্তিতে কম্প্যাটিবিলিটি রেটিংও ডকুমেন্ট করে। সফটওয়্যারটি npm-এর মাধ্যমে qwen-audio-agent হিসেবে বিতরণ করা হয় এবং এতে Node.js 22.22.2+ বা 24.15.0+ সহ npm 10+ প্রয়োজন। কনফিগারেশন Dotenv-ধাঁচের সেটআপের মাধ্যমে করা হয়, সাধারণত ডিফল্ট Qwen ভয়েস সেবার জন্য একটি DashScope/Bailian API key ব্যবহার করে। উপলব্ধ উদাহরণগুলো ডেস্কটপ প্রোডাক্টিভিটি, স্মার্ট ককপিট ব্যবহার, ভিজ্যুয়াল কথোপকথন, কাস্টমার সার্ভিস এবং একটি হার্ডওয়্যার ভয়েস-পাসপোর্ট পরিস্থিতি কভার করে; embodied intelligence এবং লাইভস্ট্রিম অ্যাসিস্ট্যান্ট পরিস্থিতিগুলো পরিকল্পিত হিসেবে চিহ্নিত।