moziai-35b-a3b-moe-mtp

MoziAI-35B-V3.8は、Chen Yumoチームによって開発された、ローカル展開可能なオープンソースのマルチモーダル大規模言語モデルです。Ornith-1.5-35B-A3Bベース（Qwen3.5/3.6-35B-A3Bアーキテクチャ、256のルーティング専門家と1つの共有専門家からなるMoE、トークン毎に8つの専門家がアクティブ）上に構築され、llama.cpp、Ollama、LM Studio、Janで使用するためのGGUFファイルとして配布されています。 最大の特徴は、自社開発のMoziSmartBitハイブリッド量子化です。これにより、35BパラメータのMoEモデルを約15.9GBに圧縮します（標準のQ4_K_Mビルド約22GBより約30%小型）。同時に、FP16精度の約99%を保持すると報告されています。このモデルは、256K（262,144トークン）のコンテキストウィンドウ、別のmmprojプロジェクタファイルによるマルチモーダル視覚、ネイティブのツール呼び出しをサポートします。READMEによると、投機的デコードを有効にした場合、AMD R9700 GPUで140+ tok/s、AMD MAX+395 iGPUで70+ tok/sの推論速度を報告しています。 2つの推論メカニズムが説明されています。1つ目は動的な7次元思考フレームワークで、簡単なQ&Aには2次元のクイック回答から、複雑な開発・戦略タスクには最大7次元の深い推論パスまで拡張され、moziAI-Thinkマーカーによってトリガーされます。2つ目はAgent LOOP反復メカニズムで、複雑なタスクに対して実行→検証の2ラウンドサイクルを実行し、単純なクエリでは自動的にスキップされます。どちらもカスタムJinjaチャットテンプレートを通じて注入され、モデル重みと一緒にロードする必要があります。 このモデルは金融垂直アシスタントとして位置付けられており、市場分析、収益・リサーチ解釈、リスク・コンプライアンス審査、クオンツ戦略設計、ライブ市場データ・データベース・リサーチ検索へのプラガブルなツール呼び出しといった機能が文書化されています。また、一般的なプログラミング、執筆、201言語にわたる多言語サポートに加え、ベースモデルから引き継いだ検閲なしの出力モードも宣伝されています。 展開には3つのファイルが必要です：リポジトリルートにあるメインGGUFモデル、mmproj/35B/にあるビジョンプロジェクタ、V3.8/にあるチャットテンプレートです。READMEには、最小および完全なllama-server起動コマンド、推奨サンプリングパラメータ（temperature 0.6–0.8、top_p 0.95、top_k 20、min_p 0.024）、VRAMガイド（視覚機能付き150Kコンテキストで20GB、視覚機能付きフル256Kで24GB、最大のヘッドルーム用に32GB+）が記載されています。Ollama展開はModelfileを介して示されていますが、READMEではOllamaのmmprojおよびチャットテンプレートのサポートはllama.cppと比較して限定的であると述べられています。 ベンチマークは、Ornith-1.0-35B-A3B、Qwen3.6-35B-A3B、Gemma-4-31B、Muse-Glimmer-30B、Qwen3.5-397Bに対して、コーディング（Terminal-Bench、SWE-bench変種、NL2Repo）、推論（HLE、GPQA Diamond）、エージェント（MCP-Atlas、Toolathlon、WideSearch、BrowseComp、ClawEval）スイートで提供されています。ライセンスはカスタムMoziAI Model Licenseで、Qwen3.5/3.6およびGemma 4からのApache-2.0上流コンポーネントを含み、商用利用は無料と記載されています。