panllm

panllm은 다양한 백엔드에 걸쳐 일관된 API를 제공함으로써 로컬 LLM 추론을 단순화하도록 설계된 사용하기 쉬운 Python 라이브러리입니다. 이를 통해 개발자는 핵심 로직을 변경하지 않고도 추론 엔진을 전환할 수 있습니다. 현재는 llama-cpp-python을 지원하며, 향후 Transformers, ExLlamaV2 및 ExLlamaV3를 통합할 계획입니다. 주요 기능으로는 단순 텍스트 완성, 강제 백엔드 선택, 그리고 초당 토큰 수와 같은 성능 통계가 포함된 스트리밍 채팅 생성이 있습니다. 이 라이브러리는 개별 추론 구현의 복잡성을 로컬 모델 배포를 위한 단일 고수준 인터페이스로 추상화하는 것을 목표로 합니다.