PowerInfer — это локальный движок вывода LLM, использующий локальность активации: часто используемые «горячие» нейроны остаются на GPU, а зависимые от входа «холодные» вычисляются на CPU. Поддерживает гибридный или только CPU-вывод, обслуживание, пакетную обработку, оценку перплексии, INT4-квантование и модели PowerInfer GGUF.
OPEN SOURCE, OPEN TO EVERYONE
Открытый код. Новые возможности.
Находите качественные проекты с открытым исходным кодом, отправляйте проекты анонимно, заявляйте права на свои проекты и редактируйте их.
✳Выбор редакции · Находите хороший open source4109найдено
Немного любопытства. Мир открытого кода.
THE FIRST COLLECTIONTopic: llm-inference清除
powerinferTiiny-AI
НОВОЕgitleaksgitleaks
НОВОЕGitleaks — инструмент с открытым исходным кодом для обнаружения секретов в репозиториях git, директориях, файлах и потоках ввода. Поддерживает проверку паролей, API-ключей и токенов, а также интеграцию с pre-commit и CI-действиями.
rayray-project
НОВОЕRay — это унифицированный фреймворк для масштабирования AI и Python-приложений: от одного ноутбука до распределенного кластера.