Sobre el proyecto
ggml es una biblioteca de tensores para aprendizaje automático escrita en C/C++ puro, con el objetivo declarado de ser simple, portátil y eficiente con una configuración mínima. Es la base de tensores detrás de proyectos como llama.cpp.
Características clave descritas en el README:
- Implementación en C/C++ puro sin dependencias externas.
- Soporte multiplataforma: x86, ARM, RISC-V, LoongArch, PowerPC, s390x y WebAssembly.
- Kernels optimizados con SIMD para x86, ARM y RISC-V.
- Amplio soporte de backends que cubre entornos de CPU, GPU, NPU y navegador.
- Cuantización de enteros de 2 bits a 8 bits, además de formatos de microescala MXFP4 y NVFP4.
- Cero asignaciones de memoria durante el tiempo de ejecución.
Para comenzar, se compila desde el código fuente con CMake:
```bash
git clone https://github.com/ggml-org/ggml
cd ggml
mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8
```
Un ejemplo mínimo y completamente comentado que cubre la multiplicación de matrices está disponible en examples/simple.
La documentación referenciada por el proyecto incluye la especificación del formato de archivo GGUF, una introducción a ggml publicada en Hugging Face y una página wiki de consejos y trucos de GGML.
Para contribuciones a la biblioteca central de ggml, incluido el sistema de compilación CMake, el README solicita a los contribuyentes abrir una solicitud de extracción en el repositorio de llama.cpp en su lugar, para que los cambios reciban más visibilidad, pruebas y revisión.
El proyecto se publica bajo la licencia MIT.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.