প্রকল্প সম্পর্কে
Laravel LLM Relay লারাভেল অ্যাপ্লিকেশনে একাধিক লার্জ ল্যাঙ্গুয়েজ মডেল প্রোভাইডার—বিশেষ করে Claude, GPT (OpenAI), এবং Gemini-এর সাথে ইন্টারঅ্যাক্ট করার জন্য একটি একক এবং সামঞ্জস্যপূর্ণ ইন্টারফেস প্রদান করে। এটি একটি কনফিগারযোগ্য চেইনের মাধ্যমে রিট্রাই করে অথবা পরবর্তী উপলব্ধ প্রোভাইডারের কাছে ফলব্যাক করে প্রোভাইডার ফেইলিওরগুলো স্বয়ংক্রিয়ভাবে হ্যান্ডেল করে, যা নিশ্চিত করে যে একটি পরিষেবা ডাউন থাকলেও আপনার AI ফিচারগুলো সচল থাকে। প্রতিটি রেসপন্সে সফল প্রোভাইডার, ব্যবহৃত মোট টোকেন এবং মিলিসেকেন্ডে ল্যাটেন্সির মতো মেটাডেটা অন্তর্ভুক্ত থাকে, যা খরচ পর্যবেক্ষণ এবং পারফরম্যান্স বিশ্লেষণে সহায়তা করে। এই প্যাকেজটি সিম্পল প্রম্পট, সিস্টেম ইনস্ট্রাকশনসহ মাল্টি-টার্ন কনভারসেশন এবং ডিপেন্ডেন্সি ইনজেকশন সমর্থন করে। এটি Http::fake()-এর মাধ্যমে টেস্টিংয়ের জন্য Laravel-এর HTTP ক্লায়েন্টের সাথে নিরবচ্ছিন্নভাবে ইন্টিগ্রেট হয়। কনফিগারেশন এনভায়রনমেন্ট ভেরিয়েবল এবং ঐচ্ছিক পাবলিশড কনফিগ ফাইলের মাধ্যমে ম্যানেজ করা হয়। যদি API কী সেট করা না থাকে তবে প্রোভাইডারগুলো স্কিপ করা হয়, এবং আপনি ফলব্যাক ছাড়াই একটি নির্দিষ্ট প্রোভাইডার ফোর্স করতে পারেন। Laravel-এর লগিং চ্যানেলের মাধ্যমে প্রতিটি রিকোয়েস্টের (প্রোভাইডার, টোকেন, ল্যাটেন্সি) লগিং সমর্থিত। প্রোডাকশন ব্যবহারের জন্য ডিজাইন করা এই প্যাকেজটি প্রোভাইডারের অস্থিরতা, পরিবর্তনশীল মডেল পছন্দ এবং খরচের স্বচ্ছতার মতো সাধারণ সমস্যাগুলোর সমাধান করে। এটি MIT লাইসেন্সপ্রাপ্ত।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.