ggml

ggml 是一个用纯 C/C++ 编写的机器学习张量库，其明确目标是简单、便携、高效且配置极少。它是 llama.cpp 等项目背后的张量基础。 README 中描述的主要特点： - 纯 C/C++ 实现，无外部依赖。 - 跨平台支持：x86、ARM、RISC-V、LoongArch、PowerPC、s390x 和 WebAssembly。 - 针对 x86、ARM 和 RISC-V 的 SIMD 优化内核。 - 广泛的后端支持，涵盖 CPU、GPU、NPU 和浏览器环境。 - 从 2 位到 8 位的整数量化，以及 MXFP4 和 NVFP4 微缩放格式。 - 运行时零内存分配。 入门方式是通过 CMake 从源码构建： ```bash git clone https://github.com/ggml-org/ggml cd ggml mkdir build && cd build cmake .. cmake --build . --config Release -j 8 ``` 一个涵盖矩阵乘法的最小且带完整注释的示例位于 examples/simple 下。 项目引用的文档包括 GGUF 文件格式规范、在 Hugging Face 上发布的 ggml 介绍，以及 GGML 技巧与窍门 wiki 页面。 对于核心 ggml 库（包括 CMake 构建系统）的贡献，README 要求贡献者改为在 llama.cpp 仓库中打开拉取请求，以便更改获得更多可见性、测试和审查。 该项目以 MIT 许可证发布。