Verificar a proteção do site: antibot, WAF e captcha

Verifique um site antes de rodar o scraper ou comprar proxies. O serviço abre o site como um navegador e mostra qual antibot, WAF ou captcha ele usa e se entrega a página a uma requisição sem navegador.

Por exemplo:

Por que verificar um site antes do scraping

A proteção do site define como fazer o scraping e quais proxies usar. A verificação leva poucos segundos e é grátis.

Janela de um site atrás de camadas de proteção: algumas requisições passam, outras batem no antibot

  1. Escolher a ferramenta

    Se o site entrega a página na hora, bastam curl, requests ou Scrapy com proxies. Se ele exige JavaScript, conte com um navegador ou antidetect desde o início, ou o scraper vai esbarrar na verificação.

  2. Escolher os proxies

    DataDome, Akamai, PerimeterX e Qrator avaliam a reputação do IP e o ritmo de requisições. Para esses sites, pegue um pool com milhares de endereços e rotação, para que cada IP leve poucas requisições.

  3. Testar seus proxies

    Depois da compra, rode o checker no modo target no mesmo site. Ele abre o site por cada proxy e mostra quantos passam e quantos levam captcha.

    Checker de proxies para LinuxChecker de proxies para Windows

O que a verificação detecta

Os sistemas são reconhecidos pelos cabeçalhos da resposta, cookies e código da página; CDNs e proteção DDoS, também pelo DNS e pela rede do site (ASN). Ampliamos a lista quando os sites mudam a proteção.

Antibot

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF e proteção DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Captcha

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

Como ler o resultado

O site entregou a página

Código 200 e uma página normal. Um antibot pode estar aqui também: ele observa o ritmo de requisições e liga a verificação depois.

Verificação do navegador

No lugar da página veio um script que testa o navegador. Sem executar JavaScript não dá para seguir.

Captcha

O site pede para resolver um captcha. Isso costuma acontecer quando o IP tem má reputação ou há requisições demais.

Recusa

Código 403, 429 ou 503 sem página de verificação. O site está fechado para esse tipo de requisição ou para essa rede.

Perguntas sobre a verificação de proteção

01Como o serviço detecta a proteção de um site?
O servidor abre o endereço como um navegador Chrome e olha a resposta: cabeçalhos, cookies e código da página. Cada sistema de proteção deixa rastros próprios, como o cookie __cf_bm da Cloudflare ou _abck da Akamai, e a verificação lê esses rastros.
02Por que meu scraper vê outra coisa?
Mandamos uma única requisição a partir de endereços da Cloudflare. Antibots pesam o IP, o ritmo de requisições e o comportamento, então seu scraper com cem requisições por minuto pode levar captcha onde nossa requisição única passou.
03O que é uma verificação do navegador?
Uma página com um script que testa se um navegador de verdade a abriu: executa JavaScript, lê a impressão digital e às vezes pede para esperar. curl e requests não passam por uma página assim.
04Proxies ajudam contra um antibot?
Proxies dão IPs diferentes às requisições, e o antibot liga verificações com menos frequência. Se o site exige JavaScript, só proxies não bastam: você precisa de um navegador ou antidetect com os proxies conectados a ele.
05O serviço guarda os endereços que eu verifico?
Não. O servidor abre o endereço uma vez, devolve o resultado ao seu navegador e não guarda nem o endereço nem a resposta do site.

Mais utilitários

Meu IPSeu IP, ASN, listas negras e vazamento de WebRTCChecker de proxies para LinuxScript bash: checa uma lista em centenas de threads, RBL e sitesChecker de proxies para WindowsScript PowerShell: checa uma lista em centenas de threads, RBL e sites

Proxies para sites protegidos

Pools MIX de até 25.000 IPs, tráfego ilimitado, HTTP e SOCKS5 na mesma porta, acesso por IP. Uma hora de teste custa US$ 1.

Ver pacotes
ENTRAR/REGISTRAR-SE