প্রকল্প সম্পর্কে
RouteTok একটি লোকাল-ফার্স্ট ইনফারেন্স রাউটার যা OpenAI এবং Anthropic-কমপ্যাটিবল API সহ আসে। এতে একটি রেসিলিয়েন্ট মাল্টি-প্রোভাইডার প্রক্সি, অপারেশনস ড্যাশবোর্ড এবং একটি স্ট্যান্ডঅ্যালোন মডেল ফিল্ডবুক একই ডিপেন্ডেন্সি-লাইট Node.js সার্ভিসে একত্রিত করা হয়েছে।
### তিনটি সাংফেস, একটি রাউটার
- **প্রক্সি (`/v1`)**: বিদ্যমান OpenAI ও Anthropic ক্লায়েন্টদের জন্য একক স্থিতিশীল এন্ডপয়েন্ট সরবরাহ করে যার মধ্যে এক্সপ্লিসিট রাউটিং, হেলথ-অ্যাওয়েয়ার ফেলওভার, ক্যানোনিক্যাল মডেল আইডি এবং ব্যবহারের মেটাডেটা রয়েছে।
- **ড্যাশবোর্ড (`/dashboard`)**: প্রোভাইডার, ক্রেডেনশিয়াল, মডেল ক্যাটালগ, রাউট অর্ডার, কাস্টম কেসকেড, হেলথ সার্কিট, খরচ, লাইভ রিকোয়েস্ট এবং ধারিত টেলিমেট্রি পরিচালনা করে।
- **স্যান্ডবক্স (`/sandbox`)**: চ্যাট, কম্পেয়ার, রুম, ইভ্যালুয়েট, ইমেজ এবং ব্রাউজার-লোকাল মাল্টি-এজেন্ট স্টুডিও ওয়ার্কফ্লো-এর জন্য স্ট্যান্ডঅ্যালোন মডেল ফিল্ডবুক প্রদান করে।
### প্রধান বৈশিষ্ট্য
- OpenAI চ্যাট কমপ্লিশন, OpenAI রেসপন্স এবং Anthropic মেसेसজেস সামঞ্জস্য
- হেলথ-অ্যাওয়েয়ার প্রি-আউটপুট ফলব্যাক স্ট্রিম স্প্লাইসিং ছাড়াই
- ভার্চুয়াল রাউট: `auto`, `best`, `free`, এবং অর্ডারযুক্ত কাস্টম কেসকেড
- প্রোভাইডার-আইসোলেটেড ক্রেডেনশিয়াল এবং `openrouter:model-id`-এর মতো ক্যানোনিক্যাল রাউট
- পেমড বা অজানা মূল্যের বহিঃস্থ মডেলের জন্য স্পষ্ট এনেবলমেন্ট
- লাইভ রিকোয়েস্ট টেলিমেট্রি, ঐতিহাসিক মেট্রিক্স, TTFT, থ্রুপুট, টোকেন, ক্যাশ সক্রিয়তা এবং খরচ
- ব্রাউজার-লোকাল ফিল্ডবুক নোট, ইভ্যালুয়েশন, রুম, স্ক্র্যাচপ্যাড এবং ভার্চুয়াল স্টুডিও প্রজেক্ট
- অপ্যাক এবং নেটওয়ার্ক-ব্লকড HTML/SVG/canvas প্রিভিউ এবং সাময়িক জেনারেটেড মিডিয়া
### দ্রুত শুরু
প্রয়োজনীয়তা: নেটিভ ইনস্টলেশনের জন্য Node.js 22 বা তার পরবর্তী সংস্করণ, অথবা কন্টেইনার ডিপ্লয়মেন্টের জন্য Docker Engine ও Docker Compose।
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.