openai-shim

openai-shim是一个轻量级、无依赖的Python库，旨在通过将各LLM提供商的API转换为OpenAI聊天补全格式来统一访问多模型服务。它支持Anthropic、Ollama及自定义端点等提供商间的故障转移——当遭遇速率限制、错误或空响应时自动切换。该库处理API结构差异（如缺失角色、token计数、流式传输行为），使代码无需额外适配。用户可为任意端点（含纯文本HTTP服务）定义自定义适配器，并通过优先级列表路由请求。内置功能涵盖流式传输、token估算、模型退役跟踪及视觉/工具能力过滤。适用于构建弹性多提供商网关或在不重写客户端逻辑的情况下代理LLM调用。采用纯标准库Python编写，经模拟传输充分测试，适合生产环境使用。