オープンソース。新しい可能性。

MoziAI-35Bはローカル展開可能なオープンソースのマルチモーダル大規模言語モデルで、35B MoEアーキテクチャをMoziSmartBit量子化で約15.9GBに圧縮。256Kコンテキスト、視覚、ツール呼び出し、金融特化の推論フレームワークを提供。

vLLMは、大規模言語モデル（LLM）の推論とサービング向けに設計された、高スループットでメモリ効率の高いライブラリです。

LlamaFactoryは100以上の大規模言語モデルとマルチモーダルモデルの効率的なファインチューニングを可能にするPythonフレームワークで、ゼロコードCLI、Gradio Web UI、LoRA/QLoRA、複数の学習アルゴリズムを提供します。

SGLangは、低遅延かつ高スループットな推論を実現するために設計された、大規模言語モデル（LLM）およびマルチモーダルモデル向けの高性能サービングフレームワークです。