इस प्रोजेक्ट के बारे में

FastChat एक ओपन-सोर्स प्लेटफॉर्म है जो बड़े भाषा मॉडल (LLM) आधारित चैटबॉट्स के प्रशिक्षण, सेवा और मूल्यांकन के लिए उपयोग किया जाता है। यह Vicuna का रिलीज रिपॉजिटरी है और Chatbot Arena (lmarena.ai) के पीछे की तकनीक है, जिसके README के अनुसार 70+ LLMs के लिए 10 मिलियन से अधिक चैट अनुरोधों की सेवा की गई है और ऑनलाइन LLM Elo लीडरबोर्ड के लिए 1.5M से अधिक मानव वोट एकत्र किए गए हैं। README में वर्णित मुख्य क्षमताएं: - Vicuna और MT-Bench जैसे मॉडलों के लिए प्रशिक्षण और मूल्यांकन कोड। - वेब UI और OpenAI-संगत RESTful APIs के साथ एक वितरित मल्टी-मॉडल सेवा प्रणाली। - कमांड-लाइन इंसफरेंस जो एकल GPU, मॉडल पैरललिज्म के साथ कई GPUs, केवल CPU, Apple Metal (MPS), Intel XPU, और Ascend NPU बैकएंड्स का समर्थन करता है। - मेमोरी-बचत विकल्प जिनमें 8-बिट संपीड़न और CPU ऑफलोडिंग शामिल हैं, साथ ही ExLlama V2, GPTQ 4-बिट, और AWQ 4-बिट जैसे क्वांटाइजेशन समर्थन भी उपलब्ध हैं। - एक वेब GUI आर्किटेक्चर जिसमें कंट्रोलर, मॉडल वर्कर्स, और एक Gradio वेब सर्वर शामिल हैं; अधिक थ्रूपुट या कई मॉडलों के लिए एक कंट्रोलर में कई वर्कर्स पंजीकृत किए जा सकते हैं। - एक साइड-बाय-साइड बैटल UI (Chatbot Arena) जिसे स्थानीय रूप से लॉन्च किया जा सकता है, जिसमें OpenAI, Anthropic, Gemini, और Mistral सहित API-आधारित मॉडलों का समर्थन शामिल है। - OpenAI-संगत APIs जो openai-python लाइब्रेरी और cURL के साथ उपयोग की जा सकती हैं, साथ ही Hugging Face जनरेशन APIs और LangChain एकीकरण भी उपलब्ध हैं। - MT-bench के माध्यम से मूल्यांकन, जो मल्टी-टर्न खुले-सिरे प्रश्नों का एक सेट है, जिसमें GPT-4 जैसे शक्तिशाली LLMs जज के रूप में कार्य करते हैं। - Stanford Alpaca पर आधारित फाइन-ट्यूनिंग कोड जिसमें मल्टी-टर्न संवाद समर्थन, LoRA समर्थन, और Vicuna-13B के लिए दस्तावेज किए गए हाइपरपैरामीटर शामिल हैं। - Hugging Face से डाउनलोड किए जा सकने वाले Vicuna (7B, 13B, 33B, जिसमें 16K संदर्भ वेरिएंट शामिल हैं), LongChat, और FastChat-T5 के लिए मॉडल वेट्स। - Llama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM, और xDAN-AI सहित विस्तृत श्रेणी के मॉडलों का समर्थन। - pip या स्रोत से इंस्टॉलेशन, जिसमें मॉडल वर्कर, वेब UI, और प्रशिक्षण के लिए वैकल्पिक एक्स्ट्रा शामिल हैं। README में LMSYS-Chat-1M और Chatbot Arena Conversations सहित प्रोजेक्ट द्वारा जारी किए गए डेटासेट और रिपोर्टों का भी उल्लेख किया गया है, और "Judging LLM-as-a-judge with MT-Bench and Chatbot Arena" शीर्षक वाले पेपर का हवाला दिया गया है।