ওপেন সোর্স। নতুন সম্ভাবনা।

একটি AI-চালিত টেমপ্লেট যা একক কমান্ডের মাধ্যমে যেকোনো ওয়েবসাইটকে পরিষ্কার Next.js অ্যাপে ক্লোন করে। Claude Code, Cursor, Codex, Gemini এবং আরও অনেককে সমর্থন করে।

web-core হলো একটি Python প্যাকেজ যা শেয়ারড ওয়েব ইনফ্রাস্ট্রাকচার প্রদান করে: এতে রয়েছে রিট্রাই, ডিডুপ্লিকেশন এবং ডোমেইন ফিল্টারিং সহ SearXNG সার্চ; স্বয়ংক্রিয় এসক্যালেশন সহ একটি মাল্টি-স্ট্র্যাটেজি স্ক্র্যাপিং এজেন্ট; DNS পিনিং সহ একটি SSRF-safe HTTP ক্লায়েন্ট; স্টিলথ এবং রিমোট ব্রাউজার রেন্ডারিং; এবং টাইপড Google Drive এবং MangaDex অ্যাডাপ্টার।

@knownagents/sdk একটি Node.js লাইব্রেরি যা সার্ভার‑সাইড অ্যাপ্লিকেশনকে AI এজেন্ট ট্রাফিক ট্র্যাক করতে, LLM রেফারেল রেকর্ড করতে, আপ‑টু‑ডেট robots.txt ফাইল তৈরি করতে এবং Agent Identification API‑এর মাধ্যমে বটগুলো চিহ্নিত করতে সক্ষম করে। এটি বাচ ইভেন্ট ফ্লাশিং, MCP কল ট্র্যাকিং এবং ACP/UCP বাণিজ্যিক ফ্লো‑সহ ইন্টিগ্রেশনকে সমর্থন করে।

Douyin এবং TikTok-এর জন্য একটি সেলফ-হোস্টেড ডাটা API। এটি পোস্ট, প্রোফাইল, মন্তব্য, প্লেলিস্ট সংগ্রহ করে এবং ওয়াটারমার্ক ছাড়া ভিডিও ও ছবি ডাউনলোড করে।

Skill Seekers হলো একটি CLI টুল যা ডকুমেন্টেশন, GitHub রিপো, PDF, ভিডিওসহ ১৮টি সোর্স টাইপকে AI Skills-এ রূপান্তর করে—Claude, Gemini, OpenAI-র জন্য কনফ্লিক্ট ডিটেকশন ও ২২টি এক্সপোর্ট টার্গেট সমর্থন করে।

designlang হলো একটি Playwright-ভিত্তিক CLI যা ওয়েবসাইটের DOM থেকে DTCG টোকেন, Tailwind কনফিগ, Figma ভেরিয়েবল, shadcn থিম, কম্পোনেন্ট অ্যানাটমি, মুভমেন্ট টোকেন, ব্র্যান্ড ভয়েস, WCAG কন্ট্রাস্ট এবং মাল্টি-প্ল্যাটফর্ম এমিটারসহ একটি সম্পূর্ণ ডিজাইন সিস্টেম এক্সট্রাক্ট করে।

Scrapy হলো পাইথনের জন্য একটি দ্রুত, উচ্চ-স্তরের ওয়েব স্ক্র্যাপিং ফ্রেমওয়ার্ক যা ওয়েবসাইট থেকে কাঠামোগত ডেটা বের করতে ব্যবহৃত হয়। এটি ক্রস-প্ল্যাটফর্ম এবং Python 3.10+ প্রয়োজন, যা Zyte এবং অন্যান্য অবদানকারীদের দ্বারা পরিচালিত।

পাইথনের জন্য অ্যাডাপটিভ ওয়েব স্ক্র্যাপিং ফ্রেমওয়ার্ক: বুদ্ধিমান DOM ট্র্যাকিং, অ্যান্টি-বট বাইপাস ফেচার, পজ/রিজিউমসহ কনকারেন্ট ক্রলিং, প্রক্সি রোটেশন এবং MCP/AI-রেডি আউটপুট।

Firecrawl একটি ওপেন-সোর্স ওয়েব ডেটা API, যা ওয়েবসাইট অনুসন্ধান, স্ক্র্যাপিং, ক্রলিং এবং ইন্টারঅ্যাক্ট করার সুবিধা দেয়। এটি পেজগুলোকে পরিষ্কার Markdown, JSON বা স্ক্রিনশটে রূপান্তর করে, যা AI এজেন্ট ও অ্যাপ্লিকেশনের জন্য LLM-রেডি ডেটা হিসেবে ব্যবহৃত হয়।

Crawlee হল একটি Python ওয়েব স্ক্র্যাপিং এবং ব্রাউজার অটোমেশন লাইব্রেরি যা নির্ভরযোগ্য ক্রলার তৈরি করতে ব্যবহৃত হয়। এটি HTTP এবং হেডলেস ব্রাউজার ক্রলিং, স্বয়ংক্রিয় রিট্রাই, প্রক্সি রোটেশন এবং AI/LLM অ্যাপ্লিকেশনের জন্য ডেটা স্টোরেজ সমর্থন করে।

Ferret হলো স্ট্রাকচার্ড এক্সট্রাকশন ওয়ার্কফ্লোর জন্য একটি ডিক্লারেটিভ ডেটা অটোমেশন ল্যাঙ্গুয়েজ এবং Go রানটাইম, যা এমবেডিং, ক্যাপাবিলিটি-ভিত্তিক অ্যাক্সেস এবং ক্রস-সোর্স কোয়েরি সমর্থন করে।

ms-job-watcher হল একটি অটোমেটেড জব অ্যালার্ট পাইপলাইন যা GitHub Actions-এ অনাত্মা অবস্থায় চলে। এটি 6টি প্রধান কোম্পানির ক্যারিয়ার API এবং প্রায় 1,200 কাস্টমাইজড ATS জব বোর্ড পোল করে, যেগুলো Greenhouse, Lever, SmartRecruiters, Workday এবং Ashby প্ল্যাটফর্মে অবস্থিত।

একটি ব্যক্তিগত অটোমেশন যা দ্রুত API কল এবং Playwright ব্রাউজার-অটোমেশন ব্যবহার করে জিম ক্লাস বুকিং উইন্ডো খোলার সাথে সাথে বুকিং করে এবং GitHub Pages ড্যাশবোর্ডের মাধ্যমে শিডিউল ট্র্যাক করে।

ওয়েবসাইটের পরিবর্তন মনিটর করার এবং বিভিন্ন নোটিফিকেশন চ্যানেলের মাধ্যমে রিয়েল-টাইম অ্যালার্ট পাওয়ার জন্য একটি ওপেন-সোর্স টুল।

J.A.R.V.I.S is a local-first OSINT platform that uses AI and web scraping to build comprehensive intelligence dossiers on individuals while ensuring data privacy.

i2iFunding P2P লেনদেন মার্কেটপ্লেস থেকে প্রতি কয়েক মিনিটে স্ক্র্যাপ করে, লোনকে yield ও credit দিয়ে স্কোর করে, Telegram/ntfy অ্যালার্ট পাঠায়, এবং committed JSON ফাইল দ্বারা চালিত GitHub Pages ড্যাশবোর্ড পরিবেশন করে। একটি ঝুঁকি-নিয়ন্ত্রিত অটো-ইনভেস্টর বাস্তব বিনিয়োগ করতে পারে।