panllm

panllmは、異なるバックエンド間で一貫したAPIを提供することで、ローカルLLM推論を簡素化するために設計された使いやすいPythonライブラリです。これにより、開発者はコアロジックを変更することなく推論エンジンの切り替えが可能になります。現在はllama-cpp-pythonをサポートしており、今後はTransformers、ExLlamaV2、およびExLlamaV3の統合を計画しています。主な機能には、シンプルなテキスト補完、バックエンドの強制選択、および秒間トークン数などのパフォーマンス統計を伴うストリーミングチャット生成が含まれます。このライブラリは、個々の推論実装の複雑さを単一のハイレベルインターフェースに抽象化し、ローカルモデルのデプロイを容易にすることを目指しています。