Comprobar la protección del sitio: antibot, WAF y captcha

El servidor abre la dirección como un navegador Chrome y examina la respuesta: cabeceras, cookies y código de la página. Cada sistema de protección deja sus huellas, como la cookie __cf_bm de Cloudflare o _abck de Akamai, y la comprobación las lee.

Enviamos una sola petición desde direcciones de Cloudflare. Los antibots tienen en cuenta la IP, el ritmo de peticiones y el comportamiento, así que tu scraper con cien peticiones por minuto puede recibir un captcha donde nuestra petición única pasó.

Una página con un script que verifica si la abrió un navegador real: ejecuta JavaScript, lee la huella digital y a veces pide esperar. curl y requests no pueden superar una página así.

Los proxies dan a las peticiones IP distintas y el antibot activa comprobaciones con menos frecuencia. Si el sitio exige ejecutar JavaScript, los proxies solos no bastan: hace falta un navegador o un antidetect con los proxies conectados.

No. El servidor abre la dirección una vez, devuelve el resultado a tu navegador y no guarda ni la dirección ni la respuesta del sitio.