عن المشروع

FastChat هي منصة مفتوحة المصدر لتدريب وخدمة وتقييم روبوتات الدردشة القائمة على نماذج اللغة الكبيرة (LLM). إنها مستودع الإصدار لـ Vicuna والتقنية وراء Chatbot Arena (lmarena.ai)، والتي وفقًا لملف README قد خدمت أكثر من 10 ملايين طلب دردشة لأكثر من 70 نموذجًا لغويًا كبيرًا وجمعت أكثر من 1.5 مليون صوت بشري للوحة تصنيف Elo عبر الإنترنت لنماذج اللغة الكبيرة. القدرات الأساسية الموصوفة في ملف README: - كود التدريب والتقييم لنماذج مثل Vicuna وMT-Bench. - نظام خدمة موزعة لنماذج متعددة مع واجهة ويب وواجهات برمجة تطبيقات RESTful متوافقة مع OpenAI. - استدلال سطر الأوامر يدعم GPU واحد، وعدة GPUs مع توازي النماذج، وCPU فقط، وApple Metal (MPS)، وIntel XPU، وAscend NPU. - خيارات توفير الذاكرة بما في ذلك ضغط 8-bit وتفريغ CPU، بالإضافة إلى دعم التكميم مثل ExLlama V2 وGPTQ 4-bit وAWQ 4-bit. - بنية واجهة ويب رسومية مع وحدة تحكم وعمال نماذج وخادم ويب Gradio؛ يمكن تسجيل عدة عمال لوحدة تحكم واحدة لزيادة الإنتاجية أو نماذج متعددة. - واجهة معركة جنبًا إلى جنب (Chatbot Arena) يمكن تشغيلها محليًا، مع دعم النماذج القائمة على API بما في ذلك OpenAI وAnthropic وGemini وMistral. - واجهات برمجة تطبيقات متوافقة مع OpenAI يمكن استخدامها مع مكتبة openai-python وcURL، بالإضافة إلى واجهات توليد Hugging Face وتكامل LangChain. - التقييم عبر MT-bench، وهو مجموعة من الأسئلة المفتوحة متعددة الأدوار، مع نماذج لغوية كبيرة قوية مثل GPT-4 كحكام. - كود ضبط دقيق مبني على Stanford Alpaca مع دعم المحادثات متعددة الأدوار، ودعم LoRA، ومعلمات موثقة لـ Vicuna-13B. - أوزان نماذج لـ Vicuna (7B، 13B، 33B، بما في ذلك متغيرات سياق 16K)، وLongChat، وFastChat-T5، قابلة للتنزيل من Hugging Face. - دعم مجموعة واسعة من النماذج بما في ذلك Llama 2 وVicuna وAlpaca وBaize وChatGLM وDolly وFalcon وFastChat-T5 وGPT4ALL وGuanaco وOpenAssistant وOpenChat وRedPajama وStableLM وWizardLM وxDAN-AI. - التثبيت عبر pip أو من المصدر، مع إضافات اختيارية لعامل النموذج وواجهة الويب والتدريب. يذكر ملف README أيضًا مجموعات البيانات والتقارير التي أصدرها المشروع، بما في ذلك LMSYS-Chat-1M ومحادثات Chatbot Arena، ويستشهد بالورقة البحثية "Judging LLM-as-a-judge with MT-Bench and Chatbot Arena".