fastchat

FastChat — это платформа с открытым исходным кодом для обучения, обслуживания и оценки чат-ботов на основе больших языковых моделей (LLM). Это репозиторий, в котором выпускается Vicuna, и технология, лежащая в основе Chatbot Arena (lmarena.ai), которая, согласно README, обработала более 10 миллионов запросов к чату для 70+ LLM и собрала более 1,5 миллиона человеческих голосов для онлайн-рейтинга LLM Elo. Основные возможности, описанные в README: - Код для обучения и оценки моделей, таких как Vicuna и MT-Bench. - Распределённая система обслуживания нескольких моделей с веб-интерфейсом и RESTful API, совместимыми с OpenAI. - Инференс из командной строки с поддержкой одного GPU, нескольких GPU с параллелизмом моделей, только CPU, Apple Metal (MPS), Intel XPU и Ascend NPU. - Опции экономии памяти, включая 8-битное сжатие и выгрузку на CPU, а также поддержку квантования, такого как ExLlama V2, GPTQ 4-bit и AWQ 4-bit. - Архитектура веб-GUI с контроллером, воркерами моделей и веб-сервером Gradio; несколько воркеров могут быть зарегистрированы в одном контроллере для повышения пропускной способности или поддержки нескольких моделей. - Интерфейс для сравнительных баттлов (Chatbot Arena), который можно запускать локально, с поддержкой моделей на основе API, включая OpenAI, Anthropic, Gemini и Mistral. - API, совместимые с OpenAI, которые можно использовать с библиотекой openai-python и cURL, а также API генерации Hugging Face и интеграция с LangChain. - Оценка с помощью MT-bench — набора многоходовых открытых вопросов, где сильные LLM, такие как GPT-4, выступают в роли судей. - Код для дообучения на основе Stanford Alpaca с поддержкой многоходовых диалогов, поддержкой LoRA и документированными гиперпараметрами для Vicuna-13B. - Веса моделей для Vicuna (7B, 13B, 33B, включая варианты с контекстом 16K), LongChat и FastChat-T5, доступные для загрузки с Hugging Face. - Поддержка широкого спектра моделей, включая Llama 2, Vicuna, Alpaca, Baize, ChatGLM, Dolly, Falcon, FastChat-T5, GPT4ALL, Guanaco, OpenAssistant, OpenChat, RedPajama, StableLM, WizardLM и xDAN-AI. - Установка через pip или из исходного кода, с дополнительными опциями для воркера модели, веб-интерфейса и обучения. В README также упоминаются наборы данных и отчёты, выпущенные проектом, включая LMSYS-Chat-1M и Chatbot Arena Conversations, и приводится ссылка на статью «Judging LLM-as-a-judge with MT-Bench and Chatbot Arena».