ggml

ggmlは、プレーンなC/C++で書かれた機械学習向けテンソルライブラリであり、最小限のセットアップでシンプル、ポータブル、かつ効率的であることを目標として掲げています。llama.cppなどのプロジェクトを支えるテンソルの基盤です。 READMEに記載されている主な特徴: - 外部依存のないプレーンなC/C++実装。 - クロスプラットフォーム対応: x86、ARM、RISC-V、LoongArch、PowerPC、s390x、WebAssembly。 - x86、ARM、RISC-V向けのSIMD最適化カーネル。 - CPU、GPU、NPU、ブラウザ環境を網羅する幅広いバックエンド対応。 - 2ビットから8ビットの整数量子化に加え、MXFP4およびNVFP4マイクロスケーリングフォーマット。 - 実行時のメモリ割り当てゼロ。 はじめ方は、CMakeを使ってソースからビルドします: ```bash git clone https://github.com/ggml-org/ggml cd ggml mkdir build && cd build cmake .. cmake --build . --config Release -j 8 ``` 行列積を扱う、完全にコメント付けされた最小限のサンプルがexamples/simpleに用意されています。 プロジェクトが参照しているドキュメントには、GGUFファイルフォーマット仕様、Hugging Faceで公開されているggmlの入門記事、GGMLのTips and tricksのwikiページが含まれます。 CMakeビルドシステムを含むggmlコアライブラリへのコントリビューションについては、READMEは変更がより多くの可視性、テスト、レビューを得られるよう、llama.cppリポジトリでプルリクエストを開くよう求めています。 本プロジェクトはMITライセンスの下で公開されています。