প্রকল্প সম্পর্কে

## প্রকল্পের সংক্ষিপ্ত বিবরণ **cf-workers-ai-gateway** একটি হালকা, জিরো-খরচের এআই ইনফারেন্স গেটওয়ে, যা **ক্লাউডফ্লেয়ার ওয়ার্কার্স এআই** এর বিনামূল্যের সুবিধাকে সর্বাধিক ব্যবহার করার জন্য ডিজাইন করা হয়েছে। এই প্রকল্পটি ক্লাউডফ্লেয়ার দ্বারা প্রদত্ত বিভিন্ন ওপেন-সোর্স মডেল (যেমন Qwen3, GPT-OSS) কে স্ট্যান্ডার্ড **ওপেনএআই সামঞ্জস্যপূর্ণ এপিআই** এ আবৃত করে, যাতে ব্যবহারকারীরা ওপেনএআই প্রোটোকল সমর্থন করে এমন যেকোনো ক্লায়েন্ট (যেমন চেরি স্টুডিও, লোবে চ্যাট, ওপেন ওয়েবইউআই, কোডেক্স সিএলআই ইত্যাদি) ব্যবহার করে বিনামূল্যে বা অত্যন্ত কম খরচে এআই ইন্টারঅ্যাকশন করতে পারে। ঐতিহ্যগত একাধিক প্রদানকারী সমষ্টিগত গেটওয়ে (যেমন ওয়ান-এপিআই, লাইটএলএলএম) এর বিপরীতে, এই প্রকল্পটি অর্থ প্রদান করা এপিআই একত্রিত করে না, বরং **একক বিনামূল্যের প্রদানকারী (ক্লাউডফ্লেয়ার ওয়ার্কার্স এআই) এর মানকে "বিকৃত" করার উপর দৃষ্টি নিবদ্ধ করে।** একাধিক অ্যাকাউন্ট রাউন্ড-রবিন, খরচ-সচেতন রাউটিং এবং বুদ্ধিমান ফিউশন মেকানিজমের মাধ্যমে, এটি ব্যক্তিগত ব্যবহারকারীদের এক পয়সা না দিয়ে প্রতিদিন শত শত বা এমনকি হাজার হাজার উচ্চ-মানের এআই ইনফারেন্স চালানোর অনুমতি দেয়। ## মূল বৈশিষ্ট্য ### 1. সত্যিকারের জিরো-খরচ এবং সুবিধা স্তরকরণ - **বিনামূল্যের সুবিধা ব্যবহার**: প্রতিটি ক্লাউডফ্লেয়ার অ্যাকাউন্ট প্রতিদিন 10,000 নিউরনস বিনামূল্যের সুবিধা প্রদান করে। এই প্রকল্পটি সর্বাধিক 5টি অ্যাকাউন্টের সুবিধা একত্রিত করতে সমর্থন করে, যা প্রতিদিন 50,000 নিউরনস পর্যন্ত হয়। - **উচ্চ-কার্যকারিতা মডেল বিনামূল্যে চালানো**: সুবিধা স্তরকরণের মাধ্যমে, ব্যবহারকারীরা প্রতিদিন প্রায় 150 বার ফ্ল্যাগশিপ মডেল `qwen3.8-27b` (এএ স্মার্ট সূচক 52, বিশ্বের শীর্ষ 6% স্তর), বা হাজার হাজার বার হালকা মডেল যেমন `qwen3-30b-a3b-fp8` চালাতে পারে। ### 2. বুদ্ধিমান একাধিক অ্যাকাউন্ট রাউন্ড-রবিন - **সময়-স্লাইস রাউন্ড-রবিন**: প্রতি 10 মিনিটে স্বয়ংক্রিয়ভাবে প্রাথমিক অ্যাকাউন্ট পরিবর্তন করে, যাতে প্রতিটি অ্যাকাউন্টের সুবিধা সমানভাবে খরচ হয় এবং একটি অ্যাকাউন্ট খুব তাড়াতাড়ি শেষ না হয়। - **স্টেটলেস ডিজাইন**: সময়-স্লাইস অ্যালগরিদম ব্যবহার করে এবং মেমরি কাউন্টার নয়, এটি ভেরসেল ইত্যাদি সার্ভারলেস পরিবেশের একাধিক উদাহরণ স্থাপনের সাথে খাপ খায় এবং ভাগ করা রাষ্ট্র ছাড়াই সামঞ্জস্যপূর্ণ রাউন্ড-রবিন বজায় রাখে। ### 3. খরচ-সচেতন রাউটিং এবং স্তরযুক্ত ফিউশন - **টিয়ার সিস্টেম**: মডেলগুলিকে `fast` (ডিফল্ট, কম খরচ), `eco` (অর্থনৈতিক), `smart` (উচ্চ-কার্যকারিতা, উচ্চ খরচ) তিনটি টিয়ারে বিমূর্ত করা হয়। ডিফল্ট রাউটিং সবচেয়ে সস্তা `fast` টিয়ারে সুবিধা সংরক্ষণের জন্য, ব্যবহারকারীরা জটিল ইনফারেন্স কাজগুলি পরিচালনা করতে `smart` টিয়ার ম্যানুয়ালি নির্দিষ্ট করতে পারেন। - **স্তরযুক্ত ফিউশন**: বিভিন্ন ধরনের ত্রুটির জন্য (সুবিধা শেষ, হার সীমা, নেটওয়ার্ক ত্রুটি ইত্যাদি) বিভিন্ন শীতল কৌশল প্রয়োগ করা হয়। উদাহরণস্বরূপ, সুবিধা শেষ হওয়ার পরে, একটি "প্রোবিং পুনরুদ্ধার" গ্রহণ করা হয়, প্রতি ঘন্টায় স্বয়ংক্রিয়ভাবে পুনরায় চেষ্টা করা হয়, একবার ক্লাউডফ্লেয়ার সুবিধা পুনরায় চালু হলে (বিলম্বিত হতে পারে), গেটওয়ে স্বয়ংক্রিয়ভাবে পরিষেবা পুনরুদ্ধার করতে পারে। - **বড় অনুরোধ স্তরযুক্ত রাউটিং**: মডেল প্রসঙ্গ উইন্ডো অনুসারে স্বয়ংক্রিয়ভাবে অনুরোধ সীমা গণনা করে। যদি অনুরোধটি খুব বড় হয়, প্রথমে ঐতিহাসিক বার্তাগুলি ছাঁটানোর চেষ্টা করুন; যদি এটি এখনও সীমা অতিক্রম করে, প্রসঙ্গ উইন্ডো সহ একটি বড় মডেল টিয়ারে স্বয়ংক্রিয়ভাবে হ্রাস করুন। ### 4. প্রোটোকল স্বাভাবিককরণ এবং অপ্টিমাইজেশান - **ওপেনএআই সামঞ্জস্যপূর্ণ**: সম্পূর্ণরূপে চ্যাট কমপ্লিশন এবং রেসপন্সেস এপিআই সমর্থন করে, স্ট্রিমিং আউটপুট (এসএসই) সহ। - **চিন্তা চেইন কম্প্রেশন**: কিউইন3 সিরিজের মডেলগুলির জন্য, স্বয়ংক্রিয়ভাবে `/no_think` নরম সুইচ ইনজেক্ট করে, উল্লেখযোগ্যভাবে চিন্তা চেইন আউটপুট টোকেন খরচ কমিয়ে দেয় (পরীক্ষা থেকে 165 শব্দ থেকে 2 শব্দ পর্যন্ত), যখন টুল কলিং বৈশিষ্ট্যগুলিকে প্রভাবিত করে না। - **ফর্ম্যাট স্ট্যান্ডার্ডাইজেশন**: ক্লাউডফ্লেয়ার নেটিভ রিটার্ন করা `reasoning` ফিল্ড, ডুপ্লিকেট `tool_calls`, এবং এসএসই খালি লাইন সমস্যাগুলি স্বয়ংক্রিয়ভাবে প্রক্রিয়া করে, আউটপুট কঠোরভাবে ওপেনএআই স্পেসিফিকেশনের সাথে সামঞ্জস্যপূর্ণ নিশ্চিত করে। ## দ্রুত শুরু করুন ### 1. ক্লাউডফ্লেয়ার ক্রেডেনশিয়াল পান 1. [ক্লাউডফ্লেয়ার](https://dash.cloudflare.com/sign-up) অ্যাকাউন্টের জন্য সাইন আপ করুন। 2. এপিআই টোকেন তৈরি করুন: **মাই প্রোফাইল → এপিআই টোকেনস → ক্রিয়েট টোকেন** এ যান, "ওয়ার্কার্স এআই" টেমপ্লেট নির্বাচন করুন। 3. `অ্যাকাউন্ট আইডি` এবং `এপিআই টোকেন` রেকর্ড করুন। 4. (ঐচ্ছিক) সুবিধা স্তরকরণের জন্য একাধিক অ্যাকাউন্ট নিবন্ধন করুন, সর্বাধিক 5টি অ্যাকাউন্ট। ### 2. কনফিগারেশন এবং লঞ্চ ```bash cp .env.example .env # .env এ CF_ACCOUNT_ID, CF_API_TOKEN এবং JY_AI_KEY পূরণ করুন node server.js ``` পরিষেবাটি ডিফল্টরূপে `http://localhost:3000` এ চলে। ### 3. পরীক্ষা ```bash curl http://localhost:3000/api/v1/chat/completions \ -H "Content-Type: application/json" \ -H "Authorization: Bearer your_secret_key" \ -d '{ "model": "fast", "messages": [{"role": "user", "content": "হ্যালো"}] }' ``` ## স্থাপনার পরামর্শ - **স্থানীয় স্থাপনা**: সরাসরি `node server.js` চালান। - **ভেরসেল স্থাপনা (প্রস্তাবিত)**: এই রিপোজিটরি ফর্ক করুন এবং ভেরসেলে আমদানি করুন, পরিবেশগত ভেরিয়েবলগুলি কনফিগার করুন। প্রকল্পটি সার্ভারলেস ফাংশনের সাথে খাপ খায়, কোনো ডাটাবেসের প্রয়োজন নেই। ## প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী - **সুবিধা রিসেট বিলম্ব**: ক্লাউডফ্লেয়ার অফিসিয়াল ডকুমেন্টেশন বলে যে এটি প্রতিদিন 00:00 UTC এ সুবিধা রিসেট করে, কিন্তু প্রকৃতপক্ষে সিঙ্ক্রোনাইজেশন বিলম্ব হতে পারে। গেটওয়ে এই সমস্যাটি স্বয়ংক্রিয়ভাবে "প্রোবিং পুনরুদ্ধার" মেকানিজমের মাধ্যমে পরিচালনা করে, কোনো ম্যানুয়াল হস্তক্ষেপের প্রয়োজন নেই। - **কোল্ড স্টার্ট ধীর**: ক্লাউডফ্লেয়ার মডেলের কোল্ড স্টার্ট 19-25 সেকেন্ড সময় নিতে পারে। গেটওয়েতে প্রথম বাইট টাইমআউট (ডিফল্ট 12s) বিল্ট-ইন আছে, যা টাইমআউটের পরে স্বয়ংক্রিয়ভাবে অন্যান্য উপলব্ধ চ্যানেল বা অ্যাকাউন্টে স্যুইচ করে, ব্যবহারকারীর অভিজ্ঞতা উন্নত করে। - **অসমর্থিত পেইড মডেল**: এই প্রকল্পটি শুধুমাত্র ক্লাউডফ্লেয়ার ওয়ার্কার্স এআই-এ বিনামূল্যের/ওপেন-সোর্স মডেলগুলিকে সমর্থন করে, ক্লাউড, জিপিটি-৪ ইত্যাদি পেইড এপিআই নয়। ## সারসংক্ষেপ **cf-workers-ai-gateway** ব্যক্তিগত ডেভেলপার এবং উত্সাহীদের জন্য একটি কার্যকর, বিনামূল্যের এবং স্থিতিশীল এআই অ্যাক্সেস সমাধান প্রদান করে। এটি সুবিধা ব্যবস্থাপনা, একাধিক অ্যাকাউন্ট সমন্বয়, প্রোটোকল সামঞ্জস্য এবং খরচ অপ্টিমাইজেশনের ব্যথা পয়েন্টগুলি সমাধান করে, ক্লাউডফ্লেয়ার ওয়ার্কার্স এআই এর মানকে সর্বাধিক করার জন্য এটি একটি আদর্শ টুল করে তোলে।