প্রকল্প সম্পর্কে

হাইপারস্ট্রেট সার্ভার হলো একটি সেলফ-হোস্ড এআই গেটওয়ে, যা দলে কাজ করার সময় এলএলএম ইনফ্রাস্ট্রাকচার ওপর সূক্ষ্ম নিয়ন্ত্রণ চেয়ে থাকে এমন টিমদের জন্য তৈরি। এটি অ্যাপ্লিকেশন এবং বিভিন্ন এআই প্রদানকারীর মধ্যে একটি কেন্দ্রীভূত স্তর হিসেবে কাজ করে, যেখানে হোস্ট করা সেবা (OpenAI, Anthropic, Gemini, Mistral, Azure OpenAI, Bedrock, Groq, Cohere), সেলফ-হোস্ড মডেল (Ollama, vLLM, LocalAI) এবং কাস্টম HTTP প্রদানকারীদের সমর্থন করা হয়。 এর প্রধান বৈশিষ্ট্যগুলো হলো: - **রাউটিং ও অর্কেস্ট্রেশন**: একাধিক রাউটিং কৌশল (রাউন্ড-রবারিন, ওয়েটেড, ফেইলওভার, লেটেন্সি-ভিত্তিক) এবং সেম্যান্টিক ক্যাশিং, কন্টেক্সট ট্রিমিং, রিট্রাইজ এবং MCP টুল ইন্টিগ্রেশন এর মতো পাইপলাইন সুবিধা সমর্থন করে। - **গভর্নেন্স ও সিকিউরিটি**: মাল্টি-টেনেন্ট অ্যাকসেস ব্যবস্থাপনার জন্য রিকোয়েস্ট ক্যাপ, কস্ট বাজেট, রেট লিমিট, ভার্চুয়াল কি এবং OIDC গ্রুপ ম্যাপিং বাস্তবায়ন করে। - **ওবজারভেবিলিটি**: খরচ, লেটেন্সি এবং টোকেন ব্যবহার ট্র্যাক করতে বিস্তারিত ইনফারেন্স লগ, পাইপলাইন ট্রেস, Prometheus মেট্রিক্স এবং বিশ্লেষণ সরবরাহ করে। - **ইভ্যালুয়েশন**: ভার্সনযুক্ত প্রম্পট টেমপ্লেট পরিচালনা এবং রাউটার রিগ্রেশন পরীক্ষা করার জন্য এলএলএম-জাজড স্কোরিং সহ ইভ্যালুয়েশন সেট চালানোর সরঞ্জাম রয়েছে। - **ডেভেলপার এক্সপেরিয়েন্স**: OpenAI এবং Anthropic-সম্পর্কিত SDK-কম্প্যাটিবল API প্রদান করে, যার ফলে বিদ্যমান ক্লায়েন্টরা কেবল বেস ইউআরএল পরিবর্তন করেই সংহত করতে পারে। প্রযুক্তিগতভাবে, সার্ভারটি Go 1.25 এবং Gin দিয়ে তৈরি, যেখানে লোকাল ডেভেলপমেন্টের জন্য SQLite এবং প্রোডাকশনের জন্য PostgreSQL সমর্থন করে。 এটিকে স্ট্যান্ডঅ্যালোন বাইনারি হিসেবে বা AWS SAM ব্যবহার করে Lambda এবং SQS এর মাধ্যমে অ্যাসিনক্রোনাস জব প্রসেসিং সহ ডিপ্লয় করা যায়।