প্রকল্প সম্পর্কে

LLM Proxy হলো একটি লোকাল ডিবাগিং টুল যা অ্যাপ্লিকেশন এবং OpenAI API-এর মাঝে অবস্থান করে ট্রাফিক লগ এবং পরিদর্শন করে। এটি ডেভেলপারদের রিয়েল-টাইমে সঠিক প্রম্পট, টোকেন ব্যবহার, টাইমিং এবং ত্রুটিগুলো মনিটর করার সুযোগ দেয়। এর মূল সক্ষমতাগুলোর মধ্যে রয়েছে: - Request Logging: এটি সমস্ত /v1/* এন্ডপয়েন্ট ক্যাপচার করে, যার মধ্যে স্ট্রিমিং রেসপন্সও অন্তর্ভুক্ত, এবং সেগুলো JSONL ফরম্যাটে ডিস্কে সেভ করে। - Web UI: রিকোয়েস্ট হিস্ট্রি ব্রাউজ করতে, এন্ডপয়েন্ট বা মডেল অনুযায়ী ফিল্টার করতে এবং সম্পূর্ণ রিকোয়েস্ট/রেসপন্স বডি পরিদর্শন করতে একটি ব্রাউজার-ভিত্তিক ইন্টারফেস প্রদান করে। - Configuration: একটি কনফিগ ফাইল বা এনভায়রনমেন্ট ভেরিয়েবলের মাধ্যমে কাস্টম পোর্ট, API key ওভাররাইড এবং কনফিগারেবল লগিং লেভেল সমর্থন করে। - Security: লগে API key-গুলোকে স্যানিটাইজ করে (শুধুমাত্র শেষ ৪টি অক্ষর দেখায়) এবং ডিফল্টভাবে localhost-এ বাইন্ড থাকে। - Integration: বেস URL পরিবর্তন করে লোকাল প্রক্সি অ্যাড্রেসে সেট করার মাধ্যমে যেকোনো OpenAI-কম্প্যাটিবল ক্লায়েন্ট বা SDK-এর সাথে সামঞ্জস্যপূর্ণ।