ggml

ggml — это библиотека тензоров для машинного обучения, написанная на чистом C/C++, с заявленной целью быть простой, переносимой и эффективной при минимальной настройке. Это тензорная основа таких проектов, как llama.cpp. Ключевые характеристики, описанные в README: - Реализация на чистом C/C++ без внешних зависимостей. - Кроссплатформенная поддержка: x86, ARM, RISC-V, LoongArch, PowerPC, s390x и WebAssembly. - Ядра с оптимизацией SIMD для x86, ARM и RISC-V. - Широкая поддержка бэкендов, охватывающая CPU, GPU, NPU и браузерные среды. - Целочисленная квантизация от 2 до 8 бит, а также форматы микромасштабирования MXFP4 и NVFP4. - Нулевые выделения памяти во время выполнения. Начало работы выполняется сборкой из исходного кода с помощью CMake: ```bash git clone https://github.com/ggml-org/ggml cd ggml mkdir build && cd build cmake .. cmake --build . --config Release -j 8 ``` Минимальный, полностью прокомментированный пример, охватывающий умножение матриц, доступен в examples/simple. Документация, на которую ссылается проект, включает спецификацию формата файлов GGUF, введение в ggml, опубликованное на Hugging Face, и вики-страницу с советами и приёмами по GGML. Что касается вклада в основную библиотеку ggml, включая систему сборки CMake, README просит участников вместо этого открывать pull request в репозитории llama.cpp, чтобы изменения получали больше видимости, тестирования и проверки. Проект выпущен под лицензией MIT.