Verificar a proteção do site: antibot, WAF e captcha

O servidor abre o endereço como um navegador Chrome e olha a resposta: cabeçalhos, cookies e código da página. Cada sistema de proteção deixa rastros próprios, como o cookie __cf_bm da Cloudflare ou _abck da Akamai, e a verificação lê esses rastros.

Mandamos uma única requisição a partir de endereços da Cloudflare. Antibots pesam o IP, o ritmo de requisições e o comportamento, então seu scraper com cem requisições por minuto pode levar captcha onde nossa requisição única passou.

Uma página com um script que testa se um navegador de verdade a abriu: executa JavaScript, lê a impressão digital e às vezes pede para esperar. curl e requests não passam por uma página assim.

Proxies dão IPs diferentes às requisições, e o antibot liga verificações com menos frequência. Se o site exige JavaScript, só proxies não bastam: você precisa de um navegador ou antidetect com os proxies conectados a ele.

Não. O servidor abre o endereço uma vez, devolve o resultado ao seu navegador e não guarda nem o endereço nem a resposta do site.