প্রকল্প সম্পর্কে

SIE (Superlinked Inference Engine) হলো একটি ওপেন-সোর্স ইনফারেন্স সার্ভার এবং প্রোডাকশন ক্লাস্টার, যা একটি AI এজেন্টের প্রয়োজনীয় সব মডেল একটি একক, সেলফ-হোস্টেড সিস্টেম থেকে চালানোর জন্য ডিজাইন করা হয়েছে। এটি প্রতিটি কাজের জন্য আলাদা মডেল সার্ভারের প্রয়োজনীয়তা প্রতিস্থাপন করে একটি একীভূত API প্রদান করে, যা ১০০+ মডেল পরিবেশন করে এবং চাহিদা অনুযায়ী সেগুলো লোড করে। প্রধান বৈশিষ্ট্যগুলোর মধ্যে রয়েছে: - **OpenAI-সামঞ্জস্যপূর্ণ API**: `/v1/embeddings`, `/v1/chat/completions`, `/v1/completions`, এবং `/v1/responses`-এর মতো এন্ডপয়েন্টসহ ড্রপ-ইন মাইগ্রেশন। - **পূর্ব-কনফিগার করা মডেল ক্যাটালগ**: Stella, SPLADE, Qwen3, GLiNER, SigLIP ইত্যাদির মতো মডেল অন্তর্ভুক্ত, যেখানে এমবেডিং এবং রিট্রিভাল মডেলগুলো MTEB-তে বেঞ্চমার্ক করা। - **মাল্টি-মডেল পরিবেশন**: চাহিদা অনুযায়ী লোডিং এবং LRU এভিকশনসহ একসাথে একাধিক মডেল পরিবেশন করে। - **প্রোডাকশন-রেডি**: Kubernetes এবং Helm ডিপ্লয়মেন্ট কনফিগ সরবরাহ করে, যার মধ্যে লোড-ব্যালান্সিং গেটওয়ে, KEDA অটোস্কেলিং, এবং Grafana ড্যাশবোর্ড রয়েছে। - **ইন্টিগ্রেশন**: LangChain, LlamaIndex, Haystack, DSPy, CrewAI, Chroma, Qdrant, Weaviate, এবং LanceDB-এর সাথে কাজ করে। SIE বিস্তৃত পরিসরের কাজ পরিচালনা করে, যার মধ্যে রয়েছে সার্চ (এমবেডিং, ম্যাচিং, রির‍্যাংকিং), ডকুমেন্ট-টু-মার্কডাউন রূপান্তর (PDF, Office ফাইল, স্ক্যান), স্ট্রাকচার্ড আউটপুট (স্কিমা-ভ্যালিড JSON এক্সট্রাকশন), সিদ্ধান্ত গ্রহণ (চয়েস, হ্যাঁ/না, স্কোর উত্তর), ক্লাসিফিকেশন, কনটেন্ট সেফটি, এজেন্ট লুপ এক্সিকিউশন, অনুবাদ (৪০০+ ভাষা), ইমেজ ক্যাপশনিং এবং অবজেক্ট ডিটেকশন, এবং অডিও ট্রান্সক্রিপশন। কুইকস্টার্ট অপশনগুলোর মধ্যে রয়েছে macOS/Linux-এর জন্য pip-এর মাধ্যমে নেটিভ ইনস্টলেশন, অথবা NVIDIA GPU (বিভিন্ন মডেল ফ্যামিলির জন্য বান্ডেল-নির্দিষ্ট ইমেজসহ) এবং CPU-এর জন্য Docker ইমেজ। SDK Python (`sie-sdk`) এবং TypeScript (`@superlinked/sie-sdk`)-এর জন্য উপলব্ধ। প্রোডাকশনের জন্য, SIE Alibaba Cloud ACK, AWS EKS, Azure AKS, এবং Google GKE-এর জন্য Terraform মডিউল সরবরাহ করে, সাথে Helm চার্ট পুনরুৎপাদনযোগ্য ক্লাস্টার ডিপ্লয়মেন্টের জন্য। প্রকল্পটি Apache 2.0 লাইসেন্সের অধীনে এবং বেনামী ব্যবহারের টেলিমেট্রি সংগ্রহ করে (পরিবেশ ভেরিয়েবলের মাধ্যমে নিষ্ক্রিয় করা যায়)।