প্রকল্প সম্পর্কে

InferenceX (পূর্বনাম InferenceMAX) হলো LLM ইনফারেন্স পারফরম্যান্স গবেষণা ও ধারাবাহিক বেঞ্চমার্কিংয়ের জন্য একটি ওপেন-সোর্স প্ল্যাটফর্ম। এটি SGLang, vLLM, TensorRT-LLM, CUDA এবং ROCm-এর মতো জনপ্রিয় ইনফারেন্স স্ট্যাকজুড়ে সফটওয়্যার ও হার্ডওয়্যার সমন্বয় ট্র্যাক করে এবং একটি পাবলিক পারফরম্যান্স ড্যাশবোর্ডের মাধ্যমে ফলাফল প্রকাশ করে। রিপোজিটরিটি কয়েকটি কম্পোনেন্টে সংগঠিত: - InferenceX-e2e: এন্ড-টু-এন্ড ইনফারেন্স সার্ভিং বেঞ্চমার্ক। - CollectiveX: পরীক্ষামূলক নেটওয়ার্কিং ও কালেক্টিভ-কমিউনিকেশন বেঞ্চমার্ক। - OperatorX: পরীক্ষামূলক অপারেটর ও কার্নেল-স্তরের বেঞ্চমার্ক। - power_model: সিস্টেম-স্তরের পাওয়ার মডেলিং। - shared: প্রকল্পজুড়ে ব্যবহৃত শেয়ার্ড কম্পোনেন্ট। - experimental: অতিরিক্ত পরীক্ষা-নিরীক্ষা। প্রকল্পটিতে AgentX নামে একটি বেঞ্চমার্কিং হারনেসও রয়েছে, যা লং-কনটেক্সট, মাল্টি-টার্ন এজেন্টিক ওয়ার্কলোড সমর্থন করে বলে বর্ণিত। ডকুমেন্টেশনে আর্কিটেকচার, কনফিগারেশন, ওয়ার্কফ্লো, ইভালুয়েশন, রানার, ট্রাবলশুটিং এবং CI বা Slurm ছাড়াই বিদ্যমান সার্ভার বেঞ্চমার্ক করার জন্য একটি স্বতন্ত্র `aiperf profile` পথ কভার করা হয়েছে। সমর্থিত হার্ডওয়্যারের তালিকায় রয়েছে NVIDIA Vera Rubin, GB300, GB200, B300, B200, H200, H100, RTX PRO 6000 Server, AMD MI355X, MI325X, MI300X এবং Google TPUv7x Ironwood Ghostfish, সাথে আরও কিছু প্ল্যাটফর্ম শীঘ্রই আসছে বলে চিহ্নিত। রিপোজিটরিটি পুল রিকোয়েস্ট স্বাগত জানায় এবং কন্ট্রিবিউশন ও রিভিউ ডকুমেন্টেশন প্রদান করে।