Об этом проекте

panllm — это простая в использовании библиотека Python, разработанная для упрощения локального вывода LLM путем предоставления согласованного API для различных бэкендов. Она позволяет разработчикам переключаться между движками вывода без изменения основной логики. В настоящее время поддерживается llama-cpp-python, а в планах интеграция Transformers, ExLlamaV2 и ExLlamaV3. Ключевые особенности включают простое дополнение текста, принудительный выбор бэкенда и потоковую генерацию чата со статистикой производительности, такой как количество токенов в секунду. Библиотека стремится абстрагировать сложности отдельных реализаций вывода в единый интерфейс высокого уровня для развертывания локальных моделей.