প্রকল্প সম্পর্কে

llmfit একটি কমান্ড-লাইন টুল যা আপনাকে সিদ্ধান্ত নিতে সাহায্য করে যে আপনার মেশিনে কোন ওপেন-সোর্স বড় ভাষা মডেলগুলো আসলে চালানো সম্ভব। এটি CPU কোর, সিস্টেম RAM, ডিসক্রিট বা ইন্টিগ্রেটেড GPU, VRAM এবং ইউনিফাইড-মেমরি সেটআপ (NVIDIA CUDA, Apple Silicon, AMD ROCm, Intel OneAPI) পরীক্ষা করে, তারপর তার ক্যাটালগের মডেলগুলোকে চারটি মাত্রায় স্কোর দেয়: মেমরি ফিট, আনুমানিক গতি, গুণমান এবং কনটেক্সট দৈর্ঘ্য। README-তে বর্ণিত মূল সক্ষমতাগুলো: - macOS (Apple Silicon এবং Intel), Linux (x86_64 এবং ARM64) এবং Windows (x86_64)-এ হার্ডওয়্যার স্বয়ংক্রিয় শনাক্তকরণ। - একটি সামঞ্জস্য ইঞ্জিন যা প্যারামিটার সংখ্যা, কনটেক্সট দৈর্ঘ্য এবং কোয়ান্টাইজেশন ফরম্যাট (GGUF, AWQ, GPTQ, EXL2) বিবেচনা করে মেমরি ফুটপ্রিন্ট এবং টোকেন-প্রতি-সেকেন্ড পারফরম্যান্স অনুমান করে। - একটি ইন্টারঅ্যাকটিভ টার্মিনাল UI (ডিফল্ট) এবং একটি ক্লাসিক CLI মোড, ফিল্টারিং, হেল্প কীবাইন্ডিং এবং নেভিগেশন সহ। - একটি ওয়েব ড্যাশবোর্ড এবং একটি নেটিভ HTTP API সার্ভার যা /api/v1/system এবং /api/v1/models-এর মতো JSON এন্ডপয়েন্ট প্রকাশ করে, যা অর্কেস্ট্রেটর, ড্যাশবোর্ড এবং ডিপ্লয়মেন্ট পাইপলাইনের জন্য উদ্দিষ্ট। - মাল্টি-GPU সেটআপ, MoE আর্কিটেকচার, ডাইনামিক কোয়ান্টাইজেশন নির্বাচন এবং Ollama, llama.cpp, MLX, Docker Model Runner ও LM Studio সহ স্থানীয় রানটাইম প্রোভাইডারদের জন্য সমর্থন। - বেঞ্চমার্কিং: একটি মডেল ডাউনলোড ও সার্ভ করুন, প্রকৃত tok/s এবং TTFT পরিমাপ করুন, ফলাফল স্থানীয়ভাবে সংরক্ষণ করুন, এবং ঐচ্ছিকভাবে TUI থেকে PR-এর মাধ্যমে সেগুলো প্রকল্পে শেয়ার করুন। কমিউনিটি পরিমাপ ফিট টেবিলে অনুমান প্রতিস্থাপন করতে পারে। - স্টোরেজ পরিকল্পনা কমান্ড যা নির্বাচিত সংখ্যক রানযোগ্য মডেল রাখার জন্য SSD ক্ষমতা অনুমান করে। ইনস্টলেশন অপশনের মধ্যে রয়েছে Windows-এ Scoop, macOS/Linux-এ Homebrew ও MacPorts, একটি curl ইনস্টল স্ক্রিপ্ট, uv/pip প্যাকেজিং, প্রি-বিল্ট রিলিজ বাইনারি, এবং একটি মাল্টি-আর্কিটেকচার Docker ইমেজ (ghcr.io/alexsjones/llmfit) যা ইন্টারঅ্যাকটিভ TUI এবং হেডলেস সার্ভার মোড সমর্থন করে। সোর্স থেকে বিল্ড করতে Cargo ব্যবহার করা হয়। সাধারণ কমান্ডের মধ্যে রয়েছে `llmfit recommend` (`--json` সহ), `llmfit fit`, `llmfit info "<model>"`, `llmfit bench`, `llmfit doctor`, `llmfit storage` এবং `llmfit serve`। README-তে উল্লেখ করা হয়েছে যে গতির অনুমান একটি মেমরি-ব্যান্ডউইথ মডেল থেকে আসে যা রানটাইম স্যাম্পলিং এবং কমিউনিটি পরিমাপের উপর ভিত্তি করে, এবং `llmfit info` প্রতিটি অনুমানের পেছনের ধারণাগুলো দেখায়। প্রকল্পটি MIT লাইসেন্সের অধীনে এবং অবদানকে স্বাগত জানায়, বিশেষত নতুন মডেল এন্ট্রি।