À propos du projet

llm-local est une couche d'abstraction légère pour les modèles de langage étendus (LLM) locaux. Elle fournit une API unifiée et une interface de ligne de commande (CLI) pour interagir avec divers fournisseurs de modèles locaux, simplifiant ainsi le processus de changement entre différents backends. Les capacités clés incluent : - API unifiée : Une interface cohérente pour générer du texte et diffuser des réponses à travers différents fournisseurs. - Découverte de fournisseurs : Découverte et listage automatiques des fournisseurs locaux disponibles et de leurs modèles. - Outil CLI : Une commande `llm` prête à l'emploi qui prend en charge l'historique des conversations multi-tours et un mode 'think' commutable. - Fournisseurs supportés : Support natif pour Ollama (via `/api/chat`) et LM Studio (via `/api/v1/chat`), avec la possibilité d'enregistrer des instances de fournisseurs personnalisées. - Intégration flexible : Peut être installé comme outil CLI global ou comme dépendance dans des projets TypeScript/JavaScript.