PowerInfer est un moteur d'inférence LLM local qui exploite la localité d'activation pour garder les neurones « chauds » fréquemment utilisés sur le GPU tout en calculant les neurones « froids » dépendants de l'entrée sur le CPU. Il prend en charge l'inférence hybride ou CPU seul, le service, le traitement par lots, l'évaluation de perplexité, la quantification INT4 et les modèles PowerInfer GGUF.
OPEN SOURCE, OPEN TO EVERYONE
Code ouvert. Horizons nouveaux.
Découvrez des projets open source de qualité, soumettez des projets anonymement, puis revendiquez et éditez votre propre projet.
✳Sélection humaine · Découvrez de bons projets open source4109découverts
Un peu de curiosité. Un monde de code ouvert.
THE FIRST COLLECTIONTopic: llm-inference清除
powerinferTiiny-AI
NOUVEAUgitleaksgitleaks
NOUVEAUGitleaks is an open-source tool for detecting secrets in Git repositories, directories, files, and stdin, supporting pre-commit hooks and CI integrations. It scans passwords, API keys, and tokens with custom rules and depth support.
rayray-project
NOUVEAURay est un framework unifié permettant de passer des applications AI et Python d'un simple ordinateur portable à un cluster distribué.