Comprobar la protección del sitio: antibot, WAF y captcha

Comprueba un sitio antes de lanzar el scraper o comprar proxies. El servicio lo abre como un navegador y muestra qué antibot, WAF o captcha usa el sitio y si entrega la página a una petición sin navegador.

Por ejemplo:

Por qué comprobar un sitio antes del scraping

La protección del sitio decide con qué hacer scraping y qué proxies usar. La comprobación tarda unos segundos y es gratis.

Ventana de un sitio tras capas de protección: unas peticiones pasan y otras chocan contra el antibot

  1. Elegir la herramienta

    Si el sitio entrega la página enseguida, bastan curl, requests o Scrapy con proxies. Si exige JavaScript, cuenta desde el principio con un navegador o un antidetect, o el scraper chocará con la comprobación.

  2. Elegir los proxies

    DataDome, Akamai, PerimeterX y Qrator valoran la reputación de la IP y el ritmo de peticiones. Para esos sitios toma un pool con miles de direcciones y rotación, así cada IP lleva pocas peticiones.

  3. Probar tus proxies

    Después de comprar, lanza el checker en modo target contra el mismo sitio. Abre el sitio a través de cada proxy y muestra cuántos pasan y cuántos reciben un captcha.

    Checker de proxies para LinuxChecker de proxies para Windows

Qué detecta la comprobación

Los sistemas se reconocen por las cabeceras de respuesta, las cookies y el código de la página; las CDN y la protección DDoS, también por el DNS y la red del sitio (ASN). Ampliamos la lista cuando los sitios cambian su protección.

Antibot

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF y protección DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Captcha

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

Cómo leer el resultado

El sitio entregó la página

Código 200 y una página normal. Aquí también puede haber un antibot: vigila el ritmo de peticiones y activa la comprobación más tarde.

Comprobación del navegador

En lugar de la página llegó un script que examina el navegador. Sin ejecutar JavaScript no se puede seguir.

Captcha

El sitio pide resolver un captcha. Suele pasar cuando la IP tiene mala reputación o hay demasiadas peticiones.

Rechazo

Código 403, 429 o 503 sin página de comprobación. El sitio está cerrado a este tipo de peticiones o a esta red.

Preguntas sobre la comprobación de protección

01¿Cómo detecta el servicio la protección de un sitio?
El servidor abre la dirección como un navegador Chrome y examina la respuesta: cabeceras, cookies y código de la página. Cada sistema de protección deja sus huellas, como la cookie __cf_bm de Cloudflare o _abck de Akamai, y la comprobación las lee.
02¿Por qué mi scraper ve otra cosa?
Enviamos una sola petición desde direcciones de Cloudflare. Los antibots tienen en cuenta la IP, el ritmo de peticiones y el comportamiento, así que tu scraper con cien peticiones por minuto puede recibir un captcha donde nuestra petición única pasó.
03¿Qué es una comprobación del navegador?
Una página con un script que verifica si la abrió un navegador real: ejecuta JavaScript, lee la huella digital y a veces pide esperar. curl y requests no pueden superar una página así.
04¿Ayudan los proxies contra un antibot?
Los proxies dan a las peticiones IP distintas y el antibot activa comprobaciones con menos frecuencia. Si el sitio exige ejecutar JavaScript, los proxies solos no bastan: hace falta un navegador o un antidetect con los proxies conectados.
05¿El servicio guarda las direcciones que compruebo?
No. El servidor abre la dirección una vez, devuelve el resultado a tu navegador y no guarda ni la dirección ni la respuesta del sitio.

Más utilidades

Mi IPTu IP, ASN, listas negras y fuga de WebRTCChecker de proxies para LinuxScript bash: revisa una lista en cientos de hilos, RBL y sitiosChecker de proxies para WindowsScript PowerShell: revisa una lista en cientos de hilos, RBL y sitios

Proxies para sitios protegidos

Pools MIX de hasta 25.000 IP, tráfico ilimitado, HTTP y SOCKS5 en un mismo puerto, acceso por IP. Una hora de prueba cuesta 1 $.

Ver paquetes
INICIAR SESIÓN/REGISTRARSE