Проверка защиты сайта: антибот, WAF и капча

Проверьте сайт до запуска парсера и покупки прокси. Сервис откроет его как браузер и покажет, какой антибот, WAF или капча там стоит и отдаёт ли сайт страницу запросу без браузера.

Например:

Зачем проверять сайт перед парсингом

Защита сайта определяет, чем его парсить и какие прокси брать. Проверка занимает несколько секунд и ничего не стоит.

Окно сайта за слоями защиты: часть запросов проходит, часть разбивается об антибот

  1. Выбрать инструмент

    Сайт отдаёт страницу сразу: хватит curl, requests или Scrapy через прокси. Сайт требует выполнить JavaScript: закладывайте браузер или антидетект с самого начала, иначе парсер упрётся в проверку.

  2. Подобрать прокси

    DataDome, Akamai, PerimeterX и Qrator оценивают репутацию IP и частоту запросов. Под такие сайты берите пул с тысячами адресов и ротацией, чтобы на каждый IP приходилось мало запросов.

  3. Проверить свои прокси

    После покупки запустите чекер в режиме target на этом же сайте. Он откроет сайт через каждый прокси и покажет, сколько из них сайт пропускает, а сколько получает капчу.

    Чекер прокси для LinuxЧекер прокси для Windows

Что распознаёт проверка

Системы определяются по заголовкам ответа, кукам и коду страницы, а CDN и защита от DDoS ещё и по DNS и сети сайта (ASN). Список пополняем, когда сайты меняют защиту.

Антибот

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF и защита от DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Капча

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

Как читать результат

Сайт отдал страницу

Код 200 и обычная страница. Антибот может стоять и здесь: он следит за частотой запросов и включает проверку позже.

Проверка браузера

Вместо страницы пришёл скрипт, который проверяет браузер. Без выполнения JavaScript дальше не пройти.

Капча

Сайт просит решить капчу. Обычно так бывает, когда у IP плохая репутация или запросов слишком много.

Отказ

Код 403, 429 или 503 без страницы проверки. Сайт закрыт для таких запросов или для этой сети.

Вопросы о проверке защиты

01Как сервис определяет защиту сайта?
Сервер открывает адрес как браузер Chrome и смотрит на ответ: заголовки, куки и код страницы. У каждой системы защиты свои следы, например кука __cf_bm у Cloudflare или _abck у Akamai. По ним и определяется защита.
02Почему мой парсер видит другое?
Мы делаем один запрос с адресов Cloudflare. Антиботы учитывают IP, частоту запросов и поведение, поэтому ваш парсер с сотней запросов в минуту может получить капчу там, где наш одиночный запрос прошёл.
03Что такое проверка браузера?
Это страница со скриптом, который проверяет, настоящий ли браузер её открыл: выполняет JavaScript, смотрит на отпечаток и иногда просит подождать. curl и requests такую страницу пройти не могут.
04Помогут ли прокси с антиботом?
Прокси дают запросам разные IP, и антибот реже включает проверку. Если сайт требует выполнить JavaScript, одних прокси мало: нужен браузер или антидетект, а прокси подключаются к нему.
05Сервис сохраняет адреса, которые я проверяю?
Нет. Сервер открывает адрес один раз, отдаёт результат в ваш браузер и не хранит ни адрес, ни ответ сайта.

Другие утилиты

Мой IPВаш IP, ASN, спам-списки и утечка WebRTCЧекер прокси для LinuxBash-скрипт: проверка списка в сотни потоков, RBL и сайтыЧекер прокси для WindowsPowerShell-скрипт: проверка списка в сотни потоков, RBL и сайты

Прокси для сайтов с защитой

Пулы МИКС до 25 000 IP с адресами из разных источников, безлимитный трафик, HTTP и SOCKS5 на одном порту. Тестовый час стоит $1.

Смотреть пакеты
ВХОД/РЕГИСТРАЦИЯ