প্রকল্প সম্পর্কে

NobodyWho হলো একটি ইনফারেন্স ইঞ্জিন যা আপনাকে যেকোনো ডিভাইসে বড় ভাষা মডেল (LLM) স্থানীয়ভাবে এবং দক্ষতার সাথে চালানোর সুযোগ দেয়। এটি GGUF ফরম্যাটে যেকোনো চ্যাট LLM চালানো সমর্থন করে, যার মধ্যে Gemma, Qwen এবং Mistral অন্তর্ভুক্ত, Vulkan বা Metal-এর মাধ্যমে GPU অ্যাক্সিলারেশন সহ। প্রধান বৈশিষ্ট্যগুলির মধ্যে রয়েছে দ্রুত, টাইপ-সেফ টুল কলিং যা স্বয়ংক্রিয়ভাবে জেনারেট করা স্ট্রাকচার্ড গ্রামার সহ, মাল্টিমোডাল ইনপুট (ছবি এবং অডিও), টেক্সট-টু-স্পিচ, স্পিচ-টু-টেক্সট এবং ভয়েস অ্যাক্টিভিটি ডিটেকশন। মডেলগুলি সরাসরি Hugging Face বা যেকোনো URL থেকে ডাউনলোড করা যায়। ইঞ্জিনটি Rust-এ নির্মিত যার Kotlin, Swift, React Native/Expo, Flutter, Python এবং Godot-এর জন্য বাইন্ডিং রয়েছে, এবং এটি OpenAI Chat Completions API বাস্তবায়নকারী একটি পরীক্ষামূলক স্থানীয় সার্ভারও প্রদান করে। এটি ডেস্কটপ (Linux, macOS, Windows), Android, iOS, visionOS এবং watchOS-এ চলে, যেখানে মেমরি প্রয়োজনীয়তা ডেস্কটপে মডেল ফাইলের আকারের প্রায় 1.5 গুণ এবং মোবাইলে 2 গুণ। প্রকল্পটি EUPL-1.2 লাইসেন্সের অধীনে, যা মালিকানাধীন এবং বাণিজ্যিক প্রকল্পে ব্যবহারের অনুমতি দেয়।