প্রকল্প সম্পর্কে

ThinkWatch একটি স্ব-হোস্টেড গেটওয়ে যা একটি প্রতিষ্ঠানের জন্য সমস্ত AI মডেল অনুরোধ এবং MCP টুল কল কেন্দ্রীভূত করে। এটি একটি নিয়ন্ত্রণ বিন্দু হিসেবে কাজ করে, যেমন একটি বাস্তিয়ন হোস্ট, ক্লায়েন্টদের মধ্যে বসে যেমন Claude Code, Cursor, কাস্টম এজেন্ট এবং CI/CD পাইপলাইন, এবং আপস্ট্রিম প্রদানকারীদের মধ্যে যেমন OpenAI, Anthropic, Google Gemini, Azure OpenAI এবং AWS Bedrock। মূল ক্ষমতাগুলির মধ্যে রয়েছে: - **প্রতি-ব্যবহারকারী MCP পরিচয়**: ব্যবহারকারীরা তাদের নিজস্ব GitHub, Notion, Linear, Slack বা Atlassian অ্যাকাউন্ট OAuth বা ব্যক্তিগত টোকেনের মাধ্যমে সংযুক্ত করে, যাতে আপস্ট্রিম অডিট লগে প্রকৃত অভিনেতা দেখা যায়। টোকেনগুলি বিশ্রামে এনক্রিপ্ট করা হয় এবং টুল তালিকা প্রতি ব্যবহারকারীর জন্য ক্যাশ করা হয়। - **নিরাপত্তা প্রহরী**: ইমেল, ফোন নম্বর এবং কার্ড নম্বরের মতো PII অনুরোধ আপস্ট্রিমে যাওয়ার আগে রিডাক্ট করা হয় এবং প্রতিক্রিয়াগুলিতে পুনরুদ্ধার করা হয়, স্ট্রিমড প্রতিক্রিয়াগুলি সহ। টুল কলগুলি বিপজ্জনক-কমান্ড নিয়মের বিরুদ্ধে পরীক্ষা করা হয় এবং লুকানো ইউনিকোড অক্ষর এবং প্রম্পট-ইনজেকশন বাক্যাংশ লগ বা প্রত্যাখ্যান করা যেতে পারে। - **সংস্থার পরিচয়**: সাইন-ইন যেকোনো OIDC প্রদানকারীর মাধ্যমে কাজ করে ঐচ্ছিক TOTP সহ। পাঁচটি অন্তর্নির্মিত ভূমিকা এবং কাস্টম ভূমিকা মডেল, টুল এবং অ্যাডমিন পৃষ্ঠাগুলিতে অ্যাক্সেস নিয়ন্ত্রণ করে। - **ইউনিফাইড কী**: `tw-` ভার্চুয়াল কীগুলি AI গেটওয়ে, MCP গেটওয়ে বা উভয়ের জন্য সীমাবদ্ধ করা যেতে পারে। কীগুলি হ্যাশ হিসাবে সংরক্ষণ করা হয় এবং একটি গ্রেস পিরিয়ড সহ ঘূর্ণন সমর্থন করে। - **রেট সীমা এবং বাজেট**: এক মিনিট থেকে এক সপ্তাহ পর্যন্ত স্লাইডিং উইন্ডো অনুরোধ বা টোকেন সীমাবদ্ধ করে এবং দৈনিক, সাপ্তাহিক বা মাসিক বাজেট খরচ সীমাবদ্ধ করে। সীমা ব্যবহারকারী, API কী বা ভূমিকার সাথে সংযুক্ত থাকে। - **খরচ হিসাব**: খরচ মডেল, ব্যবহারকারী, প্রদানকারী এবং খরচ কেন্দ্র দ্বারা রিপোর্ট করা হয়, CSV চার্জব্যাক রিপোর্ট এবং মাস-শেষ পূর্বাভাস সহ। প্রতি-মডেল ওজন ব্যয়বহুল মডেলগুলিকে কোটা বিরুদ্ধে বেশি গণনা করে। - **অডিট ট্রেইল**: প্রতিটি মডেল অনুরোধ এবং টুল কল ClickHouse-এ ব্যবহারকারী, প্যারামিটার, প্রতিক্রিয়া, লেটেন্সি এবং ত্রুটি সহ রেকর্ড করা হয়। ইভেন্টগুলি Syslog, Kafka-এর মাধ্যমে REST প্রক্সির মাধ্যমে বা স্বাক্ষরিত ওয়েবহুকের মাধ্যমে SIEM-এ ফরোয়ার্ড করা যেতে পারে। - **মাল্টি-ফরম্যাট এন্ডপয়েন্ট**: OpenAI Chat Completions, OpenAI Responses, Anthropic Messages এবং Gemini অনুরোধ একটি পোর্টে পরিবেশিত হয় এবং আপস্ট্রিম ফরম্যাটে রূপান্তরিত হয়। রাউটিং ওজন, লেটেন্সি বা স্বাস্থ্য দ্বারা ট্র্যাফিক ছড়িয়ে দেয়, ব্যর্থ আপস্ট্রিমগুলির জন্য একটি সার্কিট ব্রেকার সহ। প্রকল্পটিতে পোর্ট 3000-এ একটি গেটওয়ে এবং পোর্ট 3001-এ একটি ম্যানেজমেন্ট কনসোল অন্তর্ভুক্ত রয়েছে। ডিপ্লয়মেন্ট Docker Compose এবং Kubernetes-এর মাধ্যমে Helm চার্ট সহ সমর্থিত। কনসোলটি Claude Code, Cursor, Continue, Cline, OpenAI এবং Anthropic SDK এবং cURL-এর জন্য সেটআপ নির্দেশনা সরবরাহ করে। ThinkWatch Business Source License 1.1-এর অধীনে সোর্স-উপলভ্য। অ-উৎপাদন ব্যবহার বিনামূল্যে এবং উৎপাদন ব্যবহার প্রতি ক্যালেন্ডার মাসে 10,000,000 বিলযোগ্য টোকেন এবং 10,000 MCP টুল কল পর্যন্ত বিনামূল্যে, তার পরে একটি বাণিজ্যিক লাইসেন্স প্রয়োজন।