عن المشروع
AnimeLek Scraper هي أداة مبنية على بايثون مصممة لكشط موقع animelek.vip. تقوم بزحف منهجي عبر جميع صفحات كتالوج الأنمي البالغ عددها 83 صفحة، لجمع البيانات الوصفية لكل أنمي (العنوان، الملصق، الحالة، الأنواع، الوصف، الاستوديوهات، السنة)، بالإضافة إلى قوائم الحلقات وعناوين خوادم المشاهدة (data-ep-url) وروابط التحميل لكل حلقة.
تنتج الأداة ملفات JSON منظمة: ملف شامل `data/animes.json` يحتوي على مصفوفة من كائنات الأنمي، وملفات JSON فردية لكل حلقة تحت `data/episodes/`. كما تحتفظ بملف `state.json` لتتبع التقدم، مما يتيح تشغيلًا قابلًا للاستئناف—يمكن للمستخدمين المقاطعة بأمان باستخدام Ctrl+C وإعادة التشغيل دون إعادة كشط العناصر المكتملة. يسجل ملف سجل دوري (`scraper.log`) النشاط.
للاستخدام المحلي، تتطلب الأداة بايثون والاعتماديات المدرجة في `requirements.txt`. تستخدم `cloudscraper` و`BeautifulSoup` لجلب الصفحات العامة، دون أي واجهات برمجة مدفوعة. تشمل إجراءات مكافحة الكشف تدوير وكيل المستخدم العشوائي عبر `fake-useragent`، وتأخيرات عشوائية بين الطلبات (1.5–3.5 ثانية)، وتراجعًا أسيًا على أخطاء 429/5xx، وحتى 4 محاولات إعادة لكل عنوان URL.
يتضمن المشروع أيضًا سير عمل GitHub Actions يشغل الأداة تقريبًا كل 5.5 ساعات (بدمج جدولين cron). يستخدم `GITHUB_TOKEN` المدمج للمصادقة، مما يتطلب تمكين 'أذونات القراءة والكتابة' للإجراءات في المستودع. هذا يسمح بكشط مجدول تلقائي دون أسرار يدوية.
يوفر ملف README مخططات JSON مفصلة لملفات الأنمي والحلقات، موضحًا البنية بأمثلة. بشكل عام، هذه الأداة مفيدة لأي شخص يحتاج إلى أرشفة أو تحليل بيانات الأنمي من animelek.vip، مع تقديم كشط قوي مع إمكانية الاستئناف ودعم الأتمتة.
Comments
0 Rating appears after 10 ratings
Sign in to join the discussion.