প্রকল্প সম্পর্কে

theHarvester একটি পাইথন-ভিত্তিক ওপেন-সোর্স ইন্টেলিজেন্স টুল যা অনুমোদিত নিরাপত্তা মূল্যায়নের প্রাথমিক রিকনেসান্স পর্যায়ের জন্য তৈরি। এটি পাবলিক প্রদানকারী এবং ডেটা উৎসগুলিকে কোয়েরি করে, তারপর সাবডোমেইন এবং অন্যান্য হোস্টনেম, ইমেইল ঠিকানা, IP ঠিকানা, URL, ASN, ব্যক্তি এবং লঙ্ঘনের নামের মতো ফলাফলগুলিকে একটি ভাগ করা প্রমাণ মডেলে স্বাভাবিক করে। প্রাথমিক কমান্ড-লাইন ইন্টারফেস একক-বার গণনা এবং শেল ওয়ার্কফ্লো সমর্থন করে। ব্যবহারকারীরা পৃথক প্রদানকারী নির্বাচন করতে পারেন বা সাবডোমেইন, ইমেইল, ips, asns, urls, ব্যক্তি এবং লঙ্ঘনের মতো ক্ষমতা নির্বাচক ব্যবহার করতে পারেন। উৎসের সমবর্তিতা, ফলাফলের সীমা, হোস্টনেম বর্জন, DNS রেজোলিউশন, প্রক্সি এবং আউটপুট নামকরণ কনফিগারযোগ্য। রিপোজিটরিতে 60টি আবিষ্কার উৎস তালিকাভুক্ত রয়েছে, যার মধ্যে সার্টিফিকেট ট্রান্সপারেন্সি সার্ভিস, সার্চ ইঞ্জিন, কোড রিপোজিটরি, প্যাসিভ DNS প্রদানকারী, URL আর্কাইভ এবং নিরাপত্তা-ইন্টেলিজেন্স প্ল্যাটফর্ম অন্তর্ভুক্ত। কিছু উৎসের জন্য API কী প্রয়োজন, যখন বেশ কয়েকটি প্যাসিভ উৎস ক্রেডেনশিয়াল ছাড়াই ব্যবহার করা যেতে পারে। ক্রিয়াকলাপ তিনটি সুযোগ শ্রেণিতে বিভক্ত। P0 উৎসগুলি সরাসরি লক্ষ্যে ট্রাফিক না পাঠিয়ে বিদ্যমান প্রদানকারী বা ডেটাসেটগুলিকে কোয়েরি করে। P1 DNS-সম্পর্কিত ক্রিয়াকলাপ যেমন রেজোলিউশন, ব্রুট ফোর্স, রিভার্স লুকআপ এবং রিকার্সিভ DNS কভার করে। P2 সরাসরি মিথস্ক্রিয়া কভার করে, যার মধ্যে HTTP বা TLS অনুরোধ, স্ক্রিনশট, টেকওভার চেক, ভার্চুয়াল-হোস্ট চেক, পোর্ট-সম্পর্কিত ক্রিয়াকলাপ এবং API পাথ স্ক্যানিং অন্তর্ভুক্ত। P1 এবং P2 ক্রিয়াগুলি কেবল তখনই চলে যখন স্পষ্টভাবে নির্বাচিত হয়, এবং ডকুমেন্টেশন জোর দেয় যে কেবলমাত্র সেই ডোমেইন বা এন্ডপয়েন্টগুলি পরীক্ষা করা উচিত যা অপারেটরের মালিকানাধীন বা যেগুলি মূল্যায়নের জন্য স্পষ্টভাবে অনুমতি দেওয়া হয়েছে। ফলাফলগুলি JSONL হিসাবে রপ্তানি করা যেতে পারে, সাথে JSON এবং XML সামঞ্জস্য রিপোর্টও তৈরি করা হয়। সম্পূর্ণ রানগুলি একটি স্থানীয় SQLite প্রমাণ স্টোরে ধরে রাখা হয়। JSONL আউটপুটে একটি রান সারাংশ এবং তারপরে উৎস এবং ক্রিয়া প্রমাণ সহ ডিডুপ্লিকেটেড ফলাফল অন্তর্ভুক্ত থাকে; নির্বাচিত ফলাফলের প্রকারগুলিতে DNS প্রমাণ, Shodan হোস্ট, টেকওভার ইঙ্গিত, পর্যবেক্ষণ এবং অন্যান্য সমৃদ্ধ রেকর্ডের জন্য কাঠামোগত বিবরণ অন্তর্ভুক্ত থাকতে পারে। HarvestView রান শুরু করা, ইতিহাস এবং আর্টিফ্যাক্ট পর্যালোচনা করা, উৎসের ফলাফল পরিদর্শন করা, হোস্টনেম পরিবর্তন তুলনা করা এবং সময়সূচী পরিচালনা করার জন্য একটি স্থানীয় ব্রাউজার ইন্টারফেস এবং API প্রদান করে। এটি ডিফল্টরূপে লুপব্যাকে চলে, একটি API কী এবং প্রাপ্ত HttpOnly সেশন কুকি ব্যবহার করে এবং একটি স্থানীয় কর্মীর সাথে ক্রমিকভাবে নির্ধারিত সীমিত রান সম্পাদন করে। একটি পৃথক রিপোর্টিং কমান্ড সম্পূর্ণ রান তুলনা করতে পারে এবং সম্পূর্ণ উৎসের ফলাফলের ভিত্তিতে হোস্টনেমগুলিকে নতুনভাবে রিপোর্ট করা, এখনও রিপোর্ট করা, আর রিপোর্ট করা হয়নি বা অনিশ্চিত হিসাবে শ্রেণীবদ্ধ করতে পারে। REST API প্রমাণিত এন্ডপয়েন্টের মাধ্যমে রান তৈরি এবং বাতিলকরণ, উৎস তালিকাভুক্তি, প্রমাণ আমদানি এবং রপ্তানি, রান ইতিহাস, সময়সূচী ব্যবস্থাপনা এবং প্রেরণ ইতিহাস উন্মোচন করে। Docker Compose স্থাপনা ডকুমেন্ট করা হয়েছে, যেখানে পরিষেবাটি একটি অ-সুবিধাপ্রাপ্ত ব্যবহারকারী হিসাবে চলে, লোকালহোস্টে বাঁধে, একটি নামযুক্ত ভলিউমে রান সংরক্ষণ করে এবং একটি ফাইল সিক্রেট থেকে অপারেটর কী পড়ে। ব্যবহারকারী কনফিগারেশন ডিরেক্টরির অধীনে কনফিগারেশন ফাইলগুলি প্রদানকারী API কী, প্রক্সি এবং ঐচ্ছিক প্রমাণিত পরিষেবাগুলি পরিচালনা করে।