इस प्रोजेक्ट के बारे में
ggml एक टेंसर लाइब्रेरी है जो मशीन लर्निंग के लिए सादे C/C++ में लिखी गई है, जिसका घोषित लक्ष्य न्यूनतम सेटअप के साथ सरल, पोर्टेबल और कुशल होना है। यह llama.cpp जैसे प्रोजेक्ट्स के पीछे का टेंसर आधार है।
README में वर्णित मुख्य विशेषताएँ:
- बिना किसी बाहरी निर्भरता के सादा C/C++ कार्यान्वयन।
- क्रॉस-प्लेटफ़ॉर्म समर्थन: x86, ARM, RISC-V, LoongArch, PowerPC, s390x और WebAssembly।
- x86, ARM और RISC-V के लिए SIMD-अनुकूलित कर्नेल।
- CPU, GPU, NPU और ब्राउज़र वातावरण को कवर करने वाला व्यापक बैकएंड समर्थन।
- 2-बिट से 8-बिट तक इंटीजर क्वांटाइज़ेशन, साथ ही MXFP4 और NVFP4 माइक्रोस्केलिंग फॉर्मेट।
- रनटाइम के दौरान शून्य मेमोरी आवंटन।
शुरुआत CMake के साथ सोर्स से बिल्ड करके की जाती है:
```bash
git clone https://github.com/ggml-org/ggml
cd ggml
mkdir build && cd build
cmake ..
cmake --build . --config Release -j 8
```
मैट्रिक्स गुणन को कवर करने वाला एक न्यूनतम, पूरी तरह से टिप्पणी किया गया उदाहरण examples/simple के अंतर्गत उपलब्ध है।
प्रोजेक्ट द्वारा संदर्भित दस्तावेज़ीकरण में GGUF फ़ाइल फॉर्मेट विनिर्देश, Hugging Face पर प्रकाशित ggml का परिचय, और एक GGML टिप्स एंड ट्रिक्स विकी पृष्ठ शामिल हैं।
कोर ggml लाइब्रेरी में योगदान के लिए, जिसमें CMake बिल्ड सिस्टम भी शामिल है, README योगदानकर्ताओं से अनुरोध करता है कि वे इसके बजाय llama.cpp रिपॉज़िटरी में पुल रिक्वेस्ट खोलें, ताकि परिवर्तनों को अधिक दृश्यता, परीक्षण और समीक्षा मिल सके।
प्रोजेक्ट MIT लाइसेंस के अंतर्गत जारी किया गया है।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.