منصوبے کے بارے میں

## پروجیکٹ کا جائزہ **cf-workers-ai-gateway** ایک ہلکا پھلکا، زیرو-کاسٹ AI انفرنس گیٹ وے ہے جو خاص طور پر **Cloudflare Workers AI** کے مفت کوٹہ کو زیادہ سے زیادہ استعمال کرنے کے لیے بنایا گیا ہے۔ یہ پروجیکٹ Cloudflare کے ذریعہ فراہم کردہ متعدد اوپن سورس ماڈلز (جیسے Qwen3, GPT-OSS) کو معیاری **OpenAI-مطابق API** میں پیکج کرتا ہے، جس سے صارفین کو کسی بھی OpenAI-مطابق کلائنٹ (جیسے Cherry Studio, LobeChat, Open WebUI, Codex CLI) کا استعمال کرتے ہوئے مفت یا انتہائی کم قیمت پر AI سے بات چیت کرنے کی اجازت ملتی ہے۔ روایتی ملٹی-پرووائیڈر ایگریگیشن گیٹ ویز (جیسے One-API, LiteLLM) کے برعکس، یہ پروجیکٹ پےڈ APIs کو جمع نہیں کرتا، بلکہ **ایک ہی مفت فراہم کنندہ (Cloudflare Workers AI) کی قدر کو “نچوڑنے”** پر توجہ مرکوز کرتا ہے۔ متعدد اکاؤنٹس کی گردش، لاگت-شعور والی روٹنگ، اور ذہین فیوزنگ میکانزم کے ذریعے، یہ انفرادی صارفین کو بغیر ایک پیسہ خرچ کیے روزانہ سینکڑوں یا ہزاروں اعلیٰ معیار کے AI انفرنس چلانے کی اجازت دیتا ہے۔ ## کلیدی خصوصیات ### 1. حقیقی زیرو-کاسٹ اور کوٹہ اسٹیکنگ - **مفت کوٹہ کا استعمال**: ہر Cloudflare اکاؤنٹ روزانہ 10,000 نیورونز کا مفت کوٹہ فراہم کرتا ہے۔ یہ پروجیکٹ زیادہ سے زیادہ 5 اکاؤنٹس کو جمع کرنے کی حمایت کرتا ہے، یعنی روزانہ 50,000 نیورونز۔ - **مفت میں ہائی-پرفارمنس ماڈلز چلانا**: کوٹہ اسٹیکنگ کے ذریعے، صارفین روزانہ تقریباً 150 بار فلیگ شپ ماڈل `qwen3.8-27b` (AA انٹیلی جنس انڈیکس 52, عالمی سطح پر ٹاپ 6%) یا ہزاروں بار ہلکے ماڈلز جیسے `qwen3-30b-a3b-fp8` مفت میں چلا سکتے ہیں۔ ### 2. ذہین ملٹی-اکاؤنٹ گردش - **ٹائم-سلیس گردش**: ہر 10 منٹ میں ترجیحی اکاؤنٹ کو خودکار طور پر تبدیل کرتا ہے، اس بات کو یقینی بناتے ہوئے کہ ہر اکاؤنٹ کا کوٹہ یکساں طور پر استعمال ہو اور کوئی ایک اکاؤنٹ بہت جلد ختم نہ ہو۔ - **اسٹیٹ لیس ڈیزائن**: میموری کاؤنٹرز کے بجائے ٹائم-سلیس الگورتھم کا استعمال کرتا ہے، جو Vercel جیسے Serverless ماحول میں متعدد انسٹانسز کی تعیناتی کے لیے موزوں ہے، بغیر کسی مشترکہ ریاست کے مستقل گردش کو برقرار رکھتا ہے۔ ### 3. لاگت-شعور والی روٹنگ اور درجہ بندی شدہ فیوزنگ - **ٹائر سسٹم**: ماڈلز کو `fast` (ڈیفالٹ، کم لاگت), `eco` (معیشت), اور `smart` (ہائی-پرفارمنس, زیادہ لاگت) تین ٹائروں میں تقسیم کیا گیا ہے۔ ڈیفالٹ روٹنگ `fast` ٹائر پر ہوتی ہے تاکہ کوٹہ بچایا جائے، جبکہ صارفین پیچیدہ انفرنس ٹاسکس کے لیے دستی طور پر `smart` ٹائر کی وضاحت کر سکتے ہیں۔ - **درجہ بندی شدہ فیوزنگ**: مختلف قسم کی غلطیوں (کوٹہ ختم, ریٹ لمیٹ، نیٹ ورک کی خرابی) کے لیے مختلف کولنگ حکمت عملیوں کا نفاذ۔ مثال کے طور پر، اگر کوٹہ ختم ہو جاتا ہے تو “پروبنگ ریکوری” کا استعمال کیا جاتا ہے، جو ہر گھنٹے خودکار طور پر دوبارہ کوشش کرتی ہے، اور جیسے ہی Cloudflare کا کوٹہ ری سیٹ ہو جاتا ہے (جس میں تاخیر ہو سکتی ہے)، گیٹ وے خودکار طور پر سروس کو بحال کر لیتا ہے۔ - **بڑے درخواستوں کے لیے لیرڈ روٹنگ**: ماڈل کی سیاق و سباق کی کھڑکی کے مطابق درخواست کی حد کو خودکار طور پر اسکیل کرتا ہے۔ اگر درخواست بہت بڑی ہے، تو پہلے تاریخی پیغامات کو کاٹ کر کوشش کی جاتی ہے؛ اگر پھر بھی حد سے زیادہ ہو، تو خودکار طور پر بڑی سیاق و سباق کی کھڑکی والے ماڈل کے ٹائر پر منتقل ہو جاتا ہے۔ ### 4. پروٹوکول یونیفیکیشن اور آپٹیمائزیشن - **OpenAI مطابقت**: Chat Completions اور Responses API کے ساتھ مکمل مطابقت رکھتا ہے، بشمول SSE کے ذریعے اسٹریمڈ آؤٹ پٹ۔ - **تھنکنگ چین کمپریشن**: Qwen3 سیریز کے ماڈلز کے لیے، `/no_think` سافٹ سوئچ کو خودکار طور پر انجیکٹ کرتا ہے، جس سے تھنکنگ چین کے آؤٹ پٹ ٹوکنز کی کھپت نمایاں طور پر کم ہو جاتی ہے (165 حروف سے 2 حروف تک کم، تجرباتی طور پر)، جبکہ ٹول کالنگ کی فعالیت کو برقرار رکھا جاتا ہے۔ - **فارمیٹ اسٹینڈرڈائزیشن**: Cloudflare کے مقامی ریٹرن میں `reasoning` فیلڈ، ڈپلیکیٹ `tool_calls`، اور SSE خالی لائنوں کے مسائل کو خودکار طور پر ہینڈل کرتا ہے، اس بات کو یقینی بناتے ہوئے کہ آؤٹ پٹ سختی سے OpenAI کے معیار پر پورا اترتا ہے۔ ## فوری آغاز ### 1. Cloudflare کی اسناد حاصل کریں 1. [Cloudflare](https://dash.cloudflare.com/sign-up) پر اکاؤنٹ رجسٹر کریں۔ 2. API ٹوکن بنائیں: **My Profile → API Tokens → Create Token** پر جائیں، اور “Workers AI” ٹیمپلیٹ منتخب کریں۔ 3. `Account ID` اور `API Token` کو نوٹ کریں۔ 4. (اختیاری) کوٹہ اسٹیکنگ کے لیے زیادہ سے زیادہ 5 اکاؤنٹس رجسٹر کریں۔ ### 2. ترتیب اور لانچ ```bash cp .env.example .env # CF_ACCOUNT_ID, CF_API_TOKEN, اور JY_AI_KEY کے ساتھ .env کو ایڈٹ کریں node server.js ``` سروس ڈیفالٹ طور پر `http://localhost:3000` پر چلتی ہے۔ ### 3. ٹیسٹ ```bash curl http://localhost:3000/api/v1/chat/completions \ -H