প্রকল্প সম্পর্কে

Voicebox হলো একটি ওপেন-সোর্স এআই ভয়েস স্টুডিও, যা আপনার নিজের মেশিনে লোকালি চালানোর জন্য ডিজাইন করা হয়েছে। এটি ElevenLabs এবং WisprFlow-এর মতো ক্লাউড পরিষেবার একটি ফ্রি বিকল্প হিসেবে কাজ করে। এটি ভয়েস আউটপুট (টেক্সট-টু-স্পিচ এবং ভয়েস ক্লোনিং) এবং ভয়েস ইনপুট (স্পিচ-টু-টেক্সট ডিক্টেশন) উভয়ই কভার করে এবং ঐচ্ছিক রিফাইনমেন্টের জন্য একটি লোকাল এলএলএম (LLM) ও প্রোফাইল-ভিত্তিক ভয়েস পার্সোনালিটি সুবিধা প্রদান করে। রিপোজিটরিতে বর্ণিত মূল সক্ষমতাগুলো হলো: - ভয়েস ক্লোনিং এবং টিটিএস (TTS): ছোট রেফারেন্স স্যাম্পল থেকে জিরো-শট ক্লোনিং এবং ৫০টিরও বেশি প্রি-সেট ভয়েস। এতে সাতটি টিটিএস ইঞ্জিন (Qwen3-TTS, Qwen CustomVoice, LuxTTS, Chatterbox Multilingual, Chatterbox Turbo, HumeAI TADA, এবং Kokoro) অন্তর্ভুক্ত রয়েছে, যা ইঞ্জিনভেদে ২৩টি পর্যন্ত ভাষা সমর্থন করে। - স্পিচ-টু-টেক্সট: লোকালি OpenAI Whisper দ্বারা চালিত, যা Apple Silicon-এ MLX বা CUDA/ROCm/DirectML/CPU-তে PyTorch ব্যবহার করে চলে। - গ্লোবাল ডিক্টেশন: একটি সিস্টেম-ব্যাপী হটকি ব্যবহার করে ব্যবহারকারীরা যেকোনো টেক্সট ফিল্ডে ডিক্টেশন দিতে পারেন। - অডিও পোস্ট-প্রসেসিং: Spotify-এর pedalboard লাইব্রেরির ওপর ভিত্তি করে আটটি ইফেক্ট, যার মধ্যে পিচ শিফট, রিভার্ব, ডিলে, কোরাস, কম্প্রেসার, গেইন এবং ফিল্টার অন্তর্ভুক্ত। - এজেন্ট ভয়েস আউটপুট: একটি বিল্ট-ইন এমসিপি (Model Context Protocol) সার্ভার `voicebox.speak`, `voicebox.transcribe` ইত্যাদি টুল প্রদান করে। Claude Code, Cursor, Windsurf এবং Cline-এর মতো এমসিপি-সচেতন এজেন্টরা ক্লোন করা ভয়েসে ব্যবহারকারীর সাথে কথা বলতে পারে। - লোকাল প্রাইভেসি: মডেল, ভয়েস ডেটা এবং ক্যাপচারগুলো ব্যবহারকারীর মেশিনে সংরক্ষিত থাকে। - স্টোরিজ এডিটর: কথোপকথন, পডকাস্ট এবং বর্ণনার জন্য একটি মাল্টি-ট্র্যাক টাইমলাইন। - ক্যাপচারস: ডিক্টেশন, ইন-অ্যাপ রেকর্ডিং এবং আপলোডগুলো অডিও এবং ট্রান্সক্রিপ্টসহ সংরক্ষিত থাকে। - এপিআই (API): `http://127.0.0.1:17493`-এ একটি REST API উপলব্ধ। - প্ল্যাটফর্ম: macOS (Apple Silicon এবং Intel) এবং Windows-এর জন্য ডাউনলোডযোগ্য ফাইল, এছাড়া Docker সমর্থন এবং Linux-এর জন্য সোর্স থেকে বিল্ড করার নির্দেশিকা রয়েছে। কারিগরিভাবে, ডেস্কটপ অ্যাপটি Tauri (Rust) এবং React/TypeScript দিয়ে তৈরি, যার ব্যাকএন্ডে FastAPI (Python), SQLite স্টোরেজ এবং প্ল্যাটফর্ম ও জিপিইউ অনুযায়ী MLX বা PyTorch ইনফারেন্স ব্যবহৃত হয়।