ওপেন সোর্স। নতুন সম্ভাবনা।

MoziAI-35B একটি লোকালি ডিপ্লয়যোগ্য ওপেন-সোর্স মাল্টিমোডাল LLM, যার 35B MoE আর্কিটেকচার MoziSmartBit কোয়ান্টাইজেশনের মাধ্যমে ~15.9 GB-এ সংকুচিত; 256K কনটেক্সট, ভিশন, টুল কলিং এবং ফিন্যান্স-কেন্দ্রিক রিজনিং ফ্রেমওয়ার্ক রয়েছে।

vLLM হলো একটি উচ্চ-থ্রুপুট এবং মেমরি-দক্ষ লাইব্রেরি যা Large Language Model (LLM) ইনফারেন্স এবং সার্ভিংয়ের জন্য ডিজাইন করা হয়েছে।

LlamaFactory একটি পাইথন ফ্রেমওয়ার্ক যা ১০০+ বড় ভাষা ও মাল্টিমোডাল মডেলের দক্ষ ফাইন-টিউনিংয়ের জন্য, যেখানে জিরো-কোড CLI, Gradio Web UI, LoRA/QLoRA এবং একাধিক ট্রেনিং অ্যালগরিদম রয়েছে।

SGLang হলো লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) এবং মাল্টিমোডাল মডেলের জন্য একটি উচ্চ-ক্ষমতাসম্পন্ন সার্ভিং ফ্রেমওয়ার্ক, যা লো-ল্যাটেন্সি এবং হাই-থ্রুপুট ইনফারেন্সের জন্য ডিজাইন করা হয়েছে।