fastchat

FastChatは、大規模言語モデル（LLM）ベースのチャットボットをトレーニング、サービス提供、評価するためのオープンソースプラットフォームです。これはVicunaのリリースリポジトリであり、Chatbot Arena（lmarena.ai）の背後にある技術です。READMEによれば、70以上のLLMに対して1,000万件以上のチャットリクエストを処理し、オンラインLLMのEloリーダーボードのために150万件以上の人間の投票を収集しました。 READMEで説明されている主な機能： - VicunaやMT-Benchなどのモデルのトレーニングおよび評価コード。 - Web UIとOpenAI互換のRESTful APIを備えた分散型マルチモデルサービスシステム。 - シングルGPU、モデル並列処理による複数GPU、CPUのみ、Apple Metal（MPS）、Intel XPU、Ascend NPUバックエンドをサポートするコマンドライン推論。 - 8ビット圧縮とCPUオフロードを含むメモリ節約オプション、およびExLlama V2、GPTQ 4ビット、AWQ 4ビットなどの量子化サポート。 - コントローラー、モデルワーカー、Gradio Webサーバーで構成されるWeb GUIアーキテクチャ。1つのコントローラーに複数のワーカーを登録して、スループットを向上させたり、複数のモデルを扱ったりできます。 - ローカルで起動できるサイドバイサイドバトルUI（Chatbot Arena）。OpenAI、Anthropic、Gemini、MistralなどのAPIベースのモデルをサポート。 - openai-pythonライブラリとcURLで使用可能なOpenAI互換API、さらにHugging Face生成APIとLangChain統合。 - GPT-4などの強力なLLMが審査員を務める、複数ターンのオープンエンド質問のセットであるMT-benchによる評価。 - マルチターン会話サポート、LoRAサポートを備えたStanford Alpacaベースのファインチューニングコード、およびVicuna-13Bの文書化されたハイパーパラメータ。 - Vicuna（7B、13B、33B、16Kコンテキストのバリアントを含む）、LongChat、FastChat-T5のモデル重み。Hugging Faceからダウンロード可能。 - Llama 2、Vicuna、Alpaca、Baize、ChatGLM、Dolly、Falcon、FastChat-T5、GPT4ALL、Guanaco、OpenAssistant、OpenChat、RedPajama、StableLM、WizardLM、xDAN-AIなど、幅広いモデルをサポート。 - pipまたはソースからのインストール。モデルワーカー、Web UI、トレーニング用のオプションの追加要素も用意。 READMEには、プロジェクトが公開したデータセットとレポート（LMSYS-Chat-1MやChatbot Arena Conversationsなど）に関する注記もあり、「Judging LLM-as-a-judge with MT-Bench and Chatbot Arena」という論文を引用しています。