عن المشروع

Colly هو إطار عمل خفيف وعالي الأداء لكشط الويب والزحف مكتوب بلغة Go. يوفر واجهة برمجية نظيفة وبديهية لبناء أدوات الكشط والزحف والعناكب، مما يسهل استخراج البيانات المهيكلة من المواقع الإلكترونية لتطبيقات مثل تعدين البيانات أو معالجتها أو أرشفتها. تشمل الميزات الرئيسية: - واجهة برمجية نظيفة وأنيقة - سرعة عالية (أكثر من 1000 طلب في الثانية على نواة واحدة) - التعامل التلقائي مع تأخيرات الطلبات والحد الأقصى للتزامن لكل نطاق - إدارة تلقائية لملفات تعريف الارتباط والجلسات - دعم الكشط المتزامن وغير المتزامن والمتوازي - تخزين مؤقت مدمج - ترميز تلقائي للردود غير Unicode - دعم ملف robots.txt - قدرات الكشط الموزع - التكوين عبر متغيرات البيئة - قابلية التوسيع من خلال الإضافات يتضمن ملف README مثالًا بسيطًا يوضح كيفية إنشاء جامع، وزيارة جميع الروابط في صفحة، ومعالجة الطلبات. كما يسرد عدة مشاريع مفتوحة المصدر تستخدم Colly، مثل محرك بحث، وقاعدة بيانات ألعاب Steam، وأداة استنساخ المواقع. المشروع يُصان بنشاط ويقبل المساهمات.