Перевірка захисту сайту: антибот, WAF і капча

Перевірте сайт до запуску парсера й купівлі проксі. Сервіс відкриє його як браузер і покаже, який антибот, WAF чи капча там стоїть і чи віддає сайт сторінку запиту без браузера.

Наприклад:

Навіщо перевіряти сайт перед парсингом

Захист сайту визначає, чим його парсити і які проксі брати. Перевірка займає кілька секунд і нічого не коштує.

Вікно сайту за шарами захисту: частина запитів проходить, частина розбивається об антибот

  1. Вибрати інструмент

    Сайт віддає сторінку одразу: вистачить curl, requests або Scrapy через проксі. Сайт вимагає виконати JavaScript: закладайте браузер або антидетект із самого початку, інакше парсер упреться в перевірку.

  2. Підібрати проксі

    DataDome, Akamai, PerimeterX і Qrator оцінюють репутацію IP і частоту запитів. Під такі сайти беріть пул із тисячами адрес і ротацією, щоб на кожну IP припадало мало запитів.

  3. Перевірити свої проксі

    Після купівлі запустіть чекер у режимі target на цьому ж сайті. Він відкриє сайт через кожен проксі й покаже, скільки з них сайт пропускає, а скільки отримує капчу.

    Чекер проксі для LinuxЧекер проксі для Windows

Що розпізнає перевірка

Системи визначаються за заголовками відповіді, куками й кодом сторінки, а CDN і захист від DDoS ще й за DNS і мережею сайту (ASN). Список поповнюємо, коли сайти змінюють захист.

Антибот

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF і захист від DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Капча

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

Як читати результат

Сайт віддав сторінку

Код 200 і звичайна сторінка. Антибот може стояти й тут: він стежить за частотою запитів і вмикає перевірку пізніше.

Перевірка браузера

Замість сторінки прийшов скрипт, який перевіряє браузер. Без виконання JavaScript далі не пройти.

Капча

Сайт просить розв’язати капчу. Зазвичай так буває, коли в IP погана репутація або запитів забагато.

Відмова

Код 403, 429 або 503 без сторінки перевірки. Сайт закритий для таких запитів або для цієї мережі.

Питання про перевірку захисту

01Як сервіс визначає захист сайту?
Сервер відкриває адресу як браузер Chrome і дивиться на відповідь: заголовки, куки й код сторінки. Кожна система захисту лишає свої сліди, наприклад кука __cf_bm у Cloudflare чи _abck в Akamai. За ними й визначається захист.
02Чому мій парсер бачить інше?
Ми робимо один запит з адрес Cloudflare. Антиботи враховують IP, частоту запитів і поведінку, тому ваш парсер із сотнею запитів на хвилину може отримати капчу там, де наш одиночний запит пройшов.
03Що таке перевірка браузера?
Це сторінка зі скриптом, який перевіряє, чи справжній браузер її відкрив: виконує JavaScript, дивиться на відбиток і іноді просить зачекати. curl і requests таку сторінку пройти не можуть.
04Чи допоможуть проксі з антиботом?
Проксі дають запитам різні IP, і антибот рідше вмикає перевірку. Якщо сайт вимагає виконати JavaScript, самих проксі мало: потрібен браузер або антидетект, а проксі підключаються до нього.
05Сервіс зберігає адреси, які я перевіряю?
Ні. Сервер відкриває адресу один раз, віддає результат у ваш браузер і не зберігає ні адресу, ні відповідь сайту.

Інші утиліти

Мій IPВаш IP, ASN, спам-списки і витік WebRTCЧекер проксі для LinuxBash-скрипт: перевірка списку в сотні потоків, RBL і сайтиЧекер проксі для WindowsPowerShell-скрипт: перевірка списку в сотні потоків, RBL і сайти

Проксі для сайтів із захистом

Пули МІКС до 25 000 IP, безлімітний трафік, HTTP і SOCKS5 на одному порту, доступ за IP. Тестова година коштує $1.

Дивитися пакети
ВХІД/РЕЄСТРАЦІЯ