منصوبے کے بارے میں

FastChat ایک اوپن سورس پلیٹ فارم ہے جو بڑے لینگویج ماڈل (LLM) پر مبنی چیٹ بوٹس کی تربیت، خدمت اور تشخیص کے لیے ہے۔ یہ Vicuna کے لیے ریلیز ریپوزٹری ہے اور چیٹ بوٹ ایرینا (lmarena.ai) کے پیچھے ٹیکنالوجی ہے، جس کے بارے میں README میں کہا گیا ہے کہ اس نے 70+ LLMs کے لیے 10 ملین سے زیادہ چیٹ درخواستیں پیش کی ہیں اور آن لائن LLM Elo لیڈر بورڈ کے لیے 1.5 ملین سے زیادہ انسانی ووٹ جمع کیے ہیں۔ README میں بیان کردہ بنیادی صلاحیتیں: - Vicuna اور MT-Bench جیسے ماڈلز کے لیے تربیت اور تشخیص کا کوڈ۔ - ویب UI اور OpenAI-مطابق RESTful APIs کے ساتھ ایک تقسیم شدہ ملٹی ماڈل سروسنگ سسٹم۔ - کمانڈ لائن انفرنس جو سنگل GPU، ماڈل متوازی کے ساتھ متعدد GPUs، صرف CPU، Apple Metal (MPS)، Intel XPU، اور Ascend NPU بیک اینڈز کو سپورٹ کرتی ہے۔ - میموری بچانے کے اختیارات بشمول 8-bit کمپریشن اور CPU آف لوڈنگ، نیز کوانٹائزیشن سپورٹ جیسے ExLlama V2، GPTQ 4-bit، اور AWQ 4-bit۔ - ایک ویب GUI فن تعمیر جس میں کنٹرولر، ماڈل ورکرز، اور Gradio ویب سرور شامل ہیں؛ زیادہ تھرو پٹ یا متعدد ماڈلز کے لیے ایک کنٹرولر میں متعدد ورکرز رجسٹر کیے جا سکتے ہیں۔ - ایک ساتھ ساتھ جنگ UI (چیٹ بوٹ ایرینا) جو مقامی طور پر لانچ کیا جا سکتا ہے، جس میں OpenAI، Anthropic، Gemini، اور Mistral سمیت API پر مبنی ماڈلز کے لیے سپورٹ ہے۔ - OpenAI-مطابق APIs جو openai-python لائبریری اور cURL کے ساتھ استعمال کی جا سکتی ہیں، نیز Hugging Face جنریشن APIs اور LangChain انٹیگریشن۔ - MT-bench کے ذریعے تشخیص، جو کہ کثیر موڑ والے کھلے سوالات کا ایک سیٹ ہے، جس میں GPT-4 جیسے مضبوط LLMs جج کے طور پر کام کرتے ہیں۔ - Stanford Alpaca پر مبنی فائن ٹیوننگ کوڈ جس میں کثیر موڑ گفتگو کی حمایت، LoRA سپورٹ، اور Vicuna-13B کے لیے دستاویزی ہائپر پیرامیٹرز شامل ہیں۔ - Vicuna (7B، 13B، 33B، بشمول 16K سیاق و سباق کے مختلف قسمیں)، LongChat، اور FastChat-T5 کے لیے ماڈل وزن، Hugging Face سے ڈاؤن لوڈ کے قابل۔ - ماڈلز کی ایک وسیع رینج کے لیے سپورٹ بشمول Llama 2، Vicuna، Alpaca، Baize، ChatGLM، Dolly، Falcon، FastChat-T5، GPT4ALL، Guanaco، OpenAssistant، OpenChat، RedPajama، StableLM، WizardLM، اور xDAN-AI۔ - pip یا سورس سے تنصیب، ماڈل ورکر، ویب UI، اور تربیت کے لیے اختیاری اضافی چیزوں کے ساتھ۔ README میں پروجیکٹ کے ذریعے جاری کردہ ڈیٹا سیٹس اور رپورٹس کا بھی ذکر ہے، بشمول LMSYS-Chat-1M اور Chatbot Arena Conversations، اور مقالہ "Judging LLM-as-a-judge with MT-Bench and Chatbot Arena" کا حوالہ دیتا ہے۔