panllm

panllm 是一个易于使用的 Python 库，旨在通过在不同后端之间提供一致的 API 来简化本地 LLM 推理。它允许开发人员在不更改核心逻辑的情况下切换推理引擎。目前，它支持 llama-cpp-python，并计划集成 Transformers、ExLlamaV2 和 ExLlamaV3。其关键特性包括简单的文本补全、强制后端选择，以及带有每秒 token 数等性能统计数据的流式聊天生成。该库旨在将单个推理实现的复杂性抽象为用于本地模型部署的单一高级接口。