Об этом проекте

Ladder — это HTTP-веб-прокси, предназначенный для тестирования и анализа реализации пейволлов и поведения доставки контента на современных сайтах. Он позволяет разработчикам, исследователям и издателям имитировать браузеры, краулеры и другие клиентские условия, а затем изучать, как сайты отвечают. Прокси может удалять или изменять CORS и другие заголовки ответа, такие как Content-Security-Policy, внедрять или удалять HTML, CSS и JavaScript, а также применять доменные правила, которые изменяют ответы или запрашиваемые URL. Он также предоставляет браузерную форму, прямое проксирование URL, API, доступ к необработанному HTML, настраиваемые значения User-Agent и X-Forwarded-For, журналы доступа и списки разрешённых доменов. Наборы правил могут быть предоставлены в виде YAML-файла, каталога YAML-файлов или URL и могут быть доступны другим экземплярам Ladder. Ladder доступен в виде Docker-образов для amd64 и arm64, бинарных файлов для Linux и macOS и непротестированного бинарного файла для Windows; также документирован Helm-чарт. Доступна базовая аутентификация, и она рекомендуется для публичных развёртываний. В README указано, что Ladder предназначен для законного тестирования и анализа и не гарантирует обход расширенных ограничений. FlareSolverr может быть настроен для выбранных доменов для решения задач JavaScript или антибот-защиты, с дополнительными требованиями к ресурсам.