glm-4.5

GLM-4.5, GLM-4.6 এবং GLM-4.7 হল Zhipu AI (zai-org) থেকে আসা ওপেন-সোর্স ফাউন্ডেশন মডেলের একটি পরিবার, যা এজেন্টিক, রিজনিং এবং কোডিং কাজের জন্য তৈরি। রিপোজিটরিতে মডেল ভেরিয়েন্ট, ডাউনলোড লিংক, হার্ডওয়্যার প্রয়োজনীয়তা, ডিপ্লয়মেন্ট কমান্ড এবং মূল্যায়ন নির্দেশিকা নথিভুক্ত করা আছে। মডেল পরিবার - GLM-4.5: 355B মোট প্যারামিটার এবং 32B সক্রিয় (MoE), চিন্তা এবং অ-চিন্তা মোড সহ হাইব্রিড রিজনিং। - GLM-4.5-Air: 106B মোট, 12B সক্রিয়, একটি আরও কমপ্যাক্ট ডিজাইন। - GLM-4.5-Base এবং GLM-4.5-Air-Base: বেস মডেল। - হাইব্রিড রিজনিং মডেলের FP8 সংস্করণ দেওয়া আছে। - GLM-4.6: কনটেক্সট উইন্ডো 128K থেকে 200K টোকেনে প্রসারিত করে এবং কোডিং, রিজনিং, টুল-ব্যবহার এবং লেখার আচরণে উন্নতি রিপোর্ট করে। - GLM-4.7: ইন্টারলিভড থিংকিং, প্রিজারভড থিংকিং এবং টার্ন-লেভেল থিংকিং যোগ করে, যার ফলে কোডিং, টার্মিনাল এবং টুল-ব্যবহার বেঞ্চমার্কে লাভ রিপোর্ট করা হয়েছে। - GLM-4.7-Flash: হালকা ডিপ্লয়মেন্টের জন্য একটি লাইটওয়েট 30B-A3B মডেল। লাইসেন্সিং এবং প্রাপ্যতা মডেলগুলি বাণিজ্যিক ব্যবহার এবং মাধ্যমিক উন্নয়নের জন্য MIT লাইসেন্সের অধীনে প্রকাশিত হয়েছে। ওজন Hugging Face এবং ModelScope-এর মাধ্যমে বিতরণ করা হয়। মডেল কোড, টুল পার্সার এবং রিজনিং পার্সার transformers, vLLM এবং SGLang-এ একীভূত করা হয়েছে। ডিপ্লয়মেন্ট - transformers, vLLM এবং SGLang-এর জন্য ইনফারেন্স উদাহরণ দেওয়া আছে, যার মধ্যে টুল-কল এবং রিজনিং পার্সার ফ্ল্যাগ (যেমন glm47 এবং glm45) অন্তর্ভুক্ত। - SGLang উদাহরণে প্রিফিল/ডিকোড বিচ্ছেদ সহ PD-ডিসাগ্রিগেশন এবং একটি রাউটার কভার করা হয়েছে। - vLLM এবং SGLang-এ থিংকিং মোড ডিফল্টভাবে সক্রিয়; chat_template_kwargs-এর মাধ্যমে প্রতি অনুরোধে এটি নিষ্ক্রিয় করা যেতে পারে। - এজেন্টিক কাজের জন্য প্রিজারভড থিংকিং chat_template_kwargs-এর মাধ্যমে কনফিগার করা হয় (শুধুমাত্র SGLang)। - হার্ডওয়্যার টেবিলে BF16 এবং FP8-এর জন্য ন্যূনতম এবং পূর্ণ-কনটেক্সট GPU কনফিগারেশন তালিকাভুক্ত, যেমন 8x H100-এ GLM-4.5 FP8 এবং 2x H100-এ GLM-4.5-Air FP8, পূর্ণ 128K কনটেক্সটের জন্য বড় সংখ্যা সহ। - গাইডে xLLM-এর মাধ্যমে Ascend NPU ডিপ্লয়মেন্ট এবং AMD GPU ডিপ্লয়মেন্ট কভার করা হয়েছে। ফাইন-টিউনিং Llama Factory এবং ms-swift-এর জন্য ফাইন-টিউনিং কনফিগারেশন নথিভুক্ত করা হয়েছে, যার মধ্যে H100 এবং H20 GPU সংখ্যা সহ LoRA, SFT এবং RL সেটআপ অন্তর্ভুক্ত। মূল্যায়ন এবং টুলিং রিপোজিটরিটি একটি টুল-ইন্টিগ্রেটেড রিজনিং গাইড এবং একটি সার্চ-এজেন্ট ট্র্যাজেক্টরি টেমপ্লেট লিংক করে, এবং OpenAI-স্টাইল টুল কলিংয়ের জন্য একটি API অনুরোধ উদাহরণ প্রদান করে। arXiv-এ একটি প্রযুক্তিগত রিপোর্ট উপলব্ধ, এবং Z.ai প্ল্যাটফর্মের মাধ্যমে API পরিষেবা দেওয়া হয়।