প্রকল্প সম্পর্কে

openai-shim একটি হালকা ওজনের, নির্ভরতামুক্ত পাইথন লাইব্রেরি যা বিভিন্ন LLM প্রদানকারীদের API-গুলিকে OpenAI চ্যাট সম্পূর্ণতা ফরম্যাটে অনুবাদ করে একীভূত অ্যাক্সেস প্রদানের জন্য ডিজাইন করা হয়েছে। এটি Anthropic, Ollama এবং কাস্টম এন্ডপয়েন্টসহ বিভিন্ন প্রদানকারীদের মধ্যে ফেইলওভার সমর্থন করে — রেট লিমিট, ত্রুটি বা খালি রেসপন্সের কারণে একটি ব্যর্থ হলে স্বয়ংক্রিয়ভাবে স্যুইচ করে। লাইব্রেরিটি API স্ট্রাকচারের পার্থক্য (যেমন, ভূমিকা অনুপস্থিতি, টোকেন গণনা, স্ট্রিমিং আচরণ) পরিচালনা করে যাতে আপনার কোডকে অভিযোজিত হতে হয় না। আপনি যেকোনো এন্ডপয়েন্টের জন্য কাস্টম অ্যাডাপ্টার সংজ্ঞায়িত করতে পারেন — এমনকি প্লেইন-টেক্সট HTTP সেবাগুলিও — এবং প্রাধান্য প্রাপ্ত প্রদানকারীদের তালিকা মাধ্যমে রিকোয়েস্ট রুট করতে পারেন। এটিতে স্ট্রিমিং, টোকেন অনুমান, মডেল অবসর ট্র্যাকিং এবং ভিশন/টুল ক্ষমতা ফিল্টারিংয়ের জন্য অন্তর্নির্মিত সমর্থন রয়েছে। ক্লায়েন্ট লজিক পুনরায় লেখা ছাড়াই সহনশীল মাল্টি-প্রদানকারী গেটওয়ে তৈরি করা বা LLM কলগুলি প্রক্সি করার জন্য আদর্শ। পিউর স্ট্যান্ডার্ড লাইব্রেরি পাইথনে লেখা, এটি মক ট্রান্সপোর্টস দিয়ে ব্যাপকভাবে পরীক্ষিত এবং প্রোডাকশন ব্যবহারের উপযোগী।