প্রকল্প সম্পর্কে

FastChat হল একটি ওপেন-সোর্স প্ল্যাটফর্ম যা বড় ভাষার মডেল (LLM) ভিত্তিক চ্যাটবট প্রশিক্ষণ, পরিবেশন এবং মূল্যায়নের জন্য। এটি Vicuna-এর রিলিজ রিপোজিটরি এবং Chatbot Arena (lmarena.ai)-এর পেছনের প্রযুক্তি, যা README-তে বলা হয়েছে 70+ LLM-এর জন্য 10 মিলিয়নেরও বেশি চ্যাট অনুরোধ পরিবেশন করেছে এবং একটি অনলাইন LLM Elo লিডারবোর্ডের জন্য 1.5 মিলিয়নেরও বেশি মানব ভোট সংগ্রহ করেছে। README-তে বর্ণিত মূল ক্ষমতাগুলি: - Vicuna এবং MT-Bench-এর মতো মডেলগুলির জন্য প্রশিক্ষণ এবং মূল্যায়ন কোড। - একটি ওয়েব UI এবং OpenAI-সামঞ্জস্যপূর্ণ RESTful API সহ একটি বিতরণকৃত মাল্টি-মডেল সার্ভিং সিস্টেম। - কমান্ড-লাইন ইনফারেন্স যা সিঙ্গেল GPU, মডেল প্যারালেলিজম সহ একাধিক GPU, শুধুমাত্র CPU, Apple Metal (MPS), Intel XPU, এবং Ascend NPU ব্যাকএন্ড সমর্থন করে। - 8-বিট কম্প্রেশন এবং CPU অফলোডিং সহ মেমরি-সেভিং অপশন, পাশাপাশি ExLlama V2, GPTQ 4-bit, এবং AWQ 4-bit-এর মতো কোয়ান্টাইজেশন সমর্থন। - একটি কন্ট্রোলার, মডেল ওয়ার্কার এবং Gradio ওয়েব সার্ভার সহ একটি ওয়েব GUI আর্কিটেকচার; উচ্চতর থ্রুপুট বা একাধিক মডেলের জন্য একাধিক ওয়ার্কার একটি কন্ট্রোলারে নিবন্ধিত হতে পারে। - একটি সাইড-বাই-সাইড ব্যাটল UI (Chatbot Arena) যা স্থানীয়ভাবে চালু করা যায়, OpenAI, Anthropic, Gemini, এবং Mistral সহ API-ভিত্তিক মডেলগুলির জন্য সমর্থন সহ। - openai-python লাইব্রেরি এবং cURL-এর সাথে ব্যবহারযোগ্য OpenAI-সামঞ্জস্যপূর্ণ API, পাশাপাশি Hugging Face জেনারেশন API এবং LangChain ইন্টিগ্রেশন। - MT-bench-এর মাধ্যমে মূল্যায়ন, যা মাল্টি-টার্ন ওপেন-এন্ডেড প্রশ্নের একটি সেট, যেখানে GPT-4-এর মতো শক্তিশালী LLM বিচারক হিসেবে কাজ করে। - Stanford Alpaca-এর উপর ভিত্তি করে ফাইন-টিউনিং কোড, মাল্টি-টার্ন কথোপকথন সমর্থন, LoRA সমর্থন, এবং Vicuna-13B-এর জন্য নথিভুক্ত হাইপারপ্যারামিটার সহ। - Vicuna (7B, 13B, 33B, 16K কনটেক্সট ভেরিয়েন্ট সহ), LongChat, এবং FastChat-T5-এর জন্য মডেল ওজন, Hugging Face থেকে ডাউনলোডযোগ্য। - Llama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM, এবং xDAN-AI সহ বিস্তৃত মডেলগুলির জন্য সমর্থন। - pip বা সোর্স থেকে ইনস্টলেশন, মডেল ওয়ার্কার, ওয়েব UI এবং প্রশিক্ষণের জন্য ঐচ্ছিক এক্সট্রা সহ। README-তে প্রকল্প দ্বারা প্রকাশিত ডেটাসেট এবং রিপোর্টগুলিও উল্লেখ করা হয়েছে, যার মধ্যে রয়েছে LMSYS-Chat-1M এবং Chatbot Arena Conversations, এবং "Judging LLM-as-a-judge with MT-Bench and Chatbot Arena" পেপারটি উদ্ধৃত করা হয়েছে।