fastchat

FastChat是一个开源平台，用于训练、服务和评估基于大型语言模型（LLM）的聊天机器人。它是Vicuna的发布仓库，也是Chatbot Arena（lmarena.ai）背后的技术。README指出，Chatbot Arena已为70多个LLM处理了超过1000万次聊天请求，并收集了超过150万张人类投票，用于在线LLM Elo排行榜。README中描述的核心功能：用于Vicuna和MT-Bench等模型的训练和评估代码。一个分布式多模型服务系统，带有Web UI和OpenAI兼容的RESTful API。命令行推理支持单GPU、多GPU模型并行、仅CPU、Apple Metal（MPS）、Intel XPU和Ascend NPU后端。内存节省选项包括8位压缩和CPU卸载，以及量化支持，如ExLlama V2、GPTQ 4-bit和AWQ 4-bit。一个Web GUI架构，包含控制器、模型工作器和Gradio Web服务器；多个工作器可以注册到一个控制器，以实现更高的吞吐量或支持多个模型。一个并排对战UI（Chatbot Arena），可以在本地启动，支持基于API的模型，包括OpenAI、Anthropic、Gemini和Mistral。OpenAI兼容API可与openai-python库和cURL一起使用，此外还支持Hugging Face生成API和LangChain集成。通过MT-bench进行评估，这是一组多轮开放式问题，由GPT-4等强大的LLM充当裁判。基于Stanford Alpaca的微调代码，支持多轮对话、LoRA支持，并记录了Vicuna-13B的超参数。Vicuna（7B、13B、33B，包括16K上下文变体）、LongChat和FastChat-T5的模型权重，可从Hugging Face下载。支持多种模型，包括Llama 2、Vicuna、Alpaca、Baize、ChatGLM、Dolly、Falcon、FastChat-T5、GPT4ALL、Guanaco、OpenAssistant、OpenChat、RedPajama、StableLM、WizardLM和xDAN-AI。通过pip或从源代码安装，并提供可选的额外组件，用于模型工作器、Web UI和训练。README还提到了该项目发布的数据集和报告，包括LMSYS-Chat-1M和Chatbot Arena Conversations，并引用了论文《Judging LLM-as-a-judge with MT-Bench and Chatbot Arena》。