প্রকল্প সম্পর্কে

# ক্যাকটাস ক্যাকটাস হলো মোবাইল ডিভাইস এবং পরিধানযোগ্য ডিভাইসের জন্য ডিজাইন করা একটি হাইব্রিড এজ-ক্লাউড AI ইঞ্জিন। এটি অন-ডিভাইস AI ইনফারেন্সের জন্য একটি সম্পূর্ণ স্ট্যাক প্রদান করে, যার মধ্যে রয়েছে কোয়ান্টাইজেশন, কার্নেল, একটি কম্পিউটেশন গ্রাফ এবং একটি রানটাইম ইঞ্জিন। ## আর্কিটেকচার প্রকল্পটি চারটি প্রধান স্তরে বিভক্ত: - **ক্যাকটাস ইঞ্জিন**: টেক্সট, স্পিচ এবং ভিশন কাজের জন্য OpenAI-সামঞ্জস্যপূর্ণ API প্রদান করে, যার মধ্যে রয়েছে চ্যাট কমপ্লিশন, স্ট্রিমিং, টুল কলিং, ট্রান্সক্রিপশন, এমবেডিং, RAG এবং ক্লাউড হ্যান্ডঅফ। - **ক্যাকটাস গ্রাফ**: ম্যাট্রিক্স গুণন, অ্যাটেনশন, নরমালাইজেশন এবং অ্যাক্টিভেশন ফাংশনের মতো টেনসর অপারেশনের জন্য একটি জিরো-কপি কম্পিউটেশন গ্রাফ। - **ক্যাকটাস কার্নেল**: Apple, Samsung, Pixel এবং অন্যান্য মোবাইল প্ল্যাটফর্মের জন্য অপ্টিমাইজ করা CPU/GPU কার্নেল, যা ARM NEON SIMD ব্যবহার করে। - **ক্যাকটাস কোয়ান্টস**: একটি কাস্টম রোটেশন-ভিত্তিক কোয়ান্টাইজেশন কৌশল যা 4-বিট থেকে 1-বিট নির্ভুলতা সমর্থন করে। ## দ্রুত শুরু (Mac) Homebrew-এর মাধ্যমে ইনস্টল করুন এবং চালান: ```bash brew install cactus-compute/cactus/cactus cactus run ``` ## প্রধান বৈশিষ্ট্য - **হাইব্রিড এজ-ক্লাউড**: স্থানীয় মডেলের আত্মবিশ্বাসের ভিত্তিতে কঠিন কোয়েরি স্বয়ংক্রিয়ভাবে ক্লাউডে রাউট করে। - **মডেল সমর্থন**: Liquid, Gemma, Whisper, Parakeet এবং Qwen মডেল পরিবারের সাথে কাজ করে। যেকোনো HuggingFace মডেল পরীক্ষামূলকভাবে রূপান্তর করা যায়। - **একাধিক বাইন্ডিং**: Swift, Kotlin, Flutter, React Native, Python এবং Rust। - **অন-ডিভাইস টুল কলিং**: অন-ডিভাইস টুল কলিংয়ের জন্য "Needle" নামে একটি 26M প্যারামিটার মডেল অন্তর্ভুক্ত। - **CLI টুল**: মডেল চালানো, ট্রান্সক্রিপশন, সার্ভিং, রূপান্তর, বেঞ্চমার্কিং এবং পরীক্ষার জন্য কমান্ড। ## পারফরম্যান্স বেঞ্চমার্ক Apple সিলিকন এবং মোবাইল ডিভাইসে শক্তিশালী পারফরম্যান্স দেখায়। উদাহরণস্বরূপ, একটি Mac M5 Max-এ, ইঞ্জিনটি একটি 1k-কনটেক্সট LLM বেঞ্চমার্কের জন্য 2964 টোকেন/সেকেন্ড প্রিফিল এবং 154 টোকেন/সেকেন্ড ডিকোড অর্জন করে। iPhone 17 Pro-তে, এটি 729 টোকেন/সেকেন্ড প্রিফিল এবং 37 টোকেন/সেকেন্ড ডিকোড অর্জন করে। ## আউটপুট গুণমান কোয়ান্টাইজেশন গুণমান একাধিক বেঞ্চমার্ক (ARC, HellaSwag, WinoGrande, MMLU, GPQA, GSM8K, HumanEval, BFCL) জুড়ে মূল্যায়ন করা হয়। CQ4 কোয়ান্টাইজেশন বেশিরভাগ কাজে মূল FP16 মডেলের কাছাকাছি গুণমান বজায় রাখে। ## ব্যবহার CLI নিম্নলিখিত কমান্ড প্রদান করে: - `cactus run`: কোয়ান্টাইজেশন বিট, ব্যাকএন্ড, ইমেজ/অডিও ইনপুট, টুল এবং আরও অনেক কিছু সহ একটি মডেল চালান। - `cactus transcribe`: লাইভ মাইক্রোফোন ট্রান্সক্রিপশন বা ফাইল ট্রান্সক্রিপশন। - `cactus download`: প্রিবিল্ট মডেল বান্ডেল ডাউনলোড করুন। - `cactus convert`: HuggingFace মডেলকে Cactus CQ ওয়েটে রূপান্তর করুন। - `cactus serve`: একটি OpenAI-সামঞ্জস্যপূর্ণ স্থানীয় HTTP সার্ভার শুরু করুন। - `cactus code`: একটি AI কোডিং এজেন্ট চালান। - `cactus benchmark`: বেঞ্চমার্ক স্যুট চালান। - `cactus test`: টেস্ট স্যুট চালান। ## ডকুমেন্টেশন প্রতিটি কম্পোনেন্টের জন্য বিস্তারিত ডকুমেন্টেশন উপলব্ধ: - ক্যাকটাস ইঞ্জিন (C API) - ক্যাকটাস গ্রাফ (C++) - ক্যাকটাস কার্নেল (C++) - ক্যাকটাস কোয়ান্টস (C++) - ক্যাকটাস হাইব্রিড (C/Python) - Python প্যাকেজ ## সাইটেশন যদি আপনি গবেষণায় ক্যাকটাস ব্যবহার করেন, অনুগ্রহ করে সাইট করুন: ```bibtex @software{cactus, title = {Cactus: AI Inference Engine for Phones & Wearables}, author = {Ndubuaku, Henry and Cactus Team}, url = {https://github.com/cactus-compute/cactus}, year = {2025} } ```