প্রকল্প সম্পর্কে

ferrite হল একটি উচ্চ-পারফরম্যান্স ইনফারেন্স ইঞ্জিন, যা Rust-এ লেখা হয়েছে এবং বিশেষভাবে GLM-5.3-Flash মডেলের জন্য ডিজাইন করা হয়েছে। ইঞ্জিনটি GatedDeltaNet লিনিয়ার অ্যাটেনশন, DSA স্পারস অ্যাটেনশন, এবং ডেন্স/MoE FFN লেয়ারের সংমিশ্রণ নিয়ে একটি হাইব্রিড আর্কিটেকচার ব্যবহার করে। এর প্রাথমিক ডিজাইন লক্ষ্য হল কম্পাইল-টাইম মডেল স্পেশালাইজেশন এবং স্ট্যাটিক লেয়ার প্ল্যানিং এর মাধ্যমে ঐতিহ্যবাহী সার্ভিং ফ্রেমওয়ার্কগুলির সাথে যুক্ত রানটাইম ওভারহেড দূর করা। মূল আর্কিটেকচারাল বৈশিষ্ট্যগুলির মধ্যে রয়েছে: 1. **PDAF ডিসঅ্যাগ্রিগেশন**: প্রিফিল, ডিকোড, অ্যাটেনশন, এবং FFN ধাপগুলিকে প্রথম-শ্রেণীর নাগরিক হিসাবে বিবেচনা করা হয়, যার জন্য একটি ডেডিকেটেড রাউটার এবং স্ট্যাটিক অপারেশন গ্রাফ রয়েছে, যা রানটাইম ডিসপ্যাচ ওভারহেড দূর করে। 2. **কম্পোজেবল প্যারালেলিজম**: ইঞ্জিনটি একটি ইউনিফাইড অ্যাক্সিস অ্যালজেবরা সিস্টেমের মাধ্যমে টেনসর প্যারালেলিজম (TP), কনটেক্সট প্যারালেলিজম (CP), এবং ডেটা-প্যারালেল কনটেক্সট প্যারালেলিজম (DCP) সমর্থন করে। এটি Q, Kv, এবং হেড অ্যাক্সিসগুলির জন্য নমনীয় 3D মেশ কনফিগারেশন সক্ষম করে, যা থ্রুপুট এবং লেটেন্সি অপ্টিমাইজ করতে সংমিশ্রণ করা যেতে পারে। 3. **সঠিক MHC এবং GatedDeltaNet**: এটি সঠিক মাল্টি-হেড কানেকশন (MHC) রেসিডিউয়াল এবং একটি WYF-প্যারালেল চঙ্কাওয়াইজ GatedDeltaNet পুনরাবৃত্তি বাস্তবায়ন করে, যা CPU গোল্ডেন স্ট্যান্ডার্ডের বিপরীতে যাচাই করা হয়েছে। 4. **CUDA অপ্টিমাইজেশন**: ইঞ্জিনটিতে sm_100a/sm_103a আর্কিটেকচারের জন্য কাস্টম CUDA কার্নেল রয়েছে, যার মধ্যে ডিকোডিংয়ের সময় অপারেশন সিকোয়েন্স স্থিতিশীলতা নিশ্চিত করতে CUDA গ্রাফ ক্যাপচার এবং যাচাইকরণের জন্য সমর্থন রয়েছে। প্রকল্পটি সংখ্যাগত সঠিকতার উপর জোর দেয়, সমস্ত অন্যান্য ব্যাকএন্ড যাচাই করার জন্য CPU ব্যাকএন্ডকে গোল্ডেন স্ট্যান্ডার্ড হিসাবে ব্যবহার করে। এটি বর্তমানে ক্রমাগত ব্যাচিং, স্পেকুলেটিভ ডিকোডিং (MTP) সমর্থন করে, এবং B300 GPU-তে উল্লেখযোগ্য পারফরম্যান্স উন্নতি অর্জন করেছে, স্পেকুলেটিভ এক্সিকিউশন সক্ষম করে ডিকোড মোডে 64.8 tok/s-এ পৌঁছেছে। কোডবেসটি মডুলার, যার জন্য টাইপ, মডেল কনফিগারেশন, কার্নেল ব্যাকএন্ড, KV ম্যানেজমেন্ট, ব্যাচিং, শিডিউলিং, এবং এক্সিকিউশনের জন্য আলাদা আলাদা ক্রেট রয়েছে।