Tester la protection d’un site : antibot, WAF et captcha

Testez un site avant de lancer votre scraper ou d’acheter des proxys. Le service l’ouvre comme un navigateur et montre quel antibot, WAF ou captcha tourne sur le site et s’il sert la page à une requête sans navigateur.

Par exemple :

Pourquoi tester un site avant le scraping

La protection d’un site décide de l’outil de scraping et des proxys à prendre. Le test prend quelques secondes et il est gratuit.

Fenêtre d’un site derrière des couches de protection : certaines requêtes passent, d’autres butent sur l’antibot

  1. Choisir l’outil

    Si le site sert la page tout de suite, curl, requests ou Scrapy via des proxys suffisent. S’il exige JavaScript, prévoyez dès le départ un navigateur ou un antidetect, sinon le scraper bute sur la vérification.

  2. Choisir les proxys

    DataDome, Akamai, PerimeterX et Qrator jugent la réputation de l’IP et le rythme des requêtes. Pour ces sites, prenez un pool de milliers d’adresses avec rotation, afin que chaque IP porte peu de requêtes.

  3. Tester vos proxys

    Après l’achat, lancez le checker en mode target sur le même site. Il ouvre le site via chaque proxy et montre combien passent et combien tombent sur un captcha.

    Vérificateur de proxys pour LinuxVérificateur de proxys pour Windows

Ce que le test détecte

Les systèmes sont reconnus grâce aux en-têtes de réponse, aux cookies et au code de la page, et les CDN et protections DDoS aussi grâce au DNS et au réseau du site (ASN). Nous enrichissons la liste quand les sites changent de protection.

Antibot

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF et protection DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Captcha

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

Comment lire le résultat

Le site a servi la page

Code 200 et une page normale. Un antibot peut aussi être là : il surveille le rythme des requêtes et déclenche une vérification plus tard.

Vérification du navigateur

À la place de la page est arrivé un script qui teste le navigateur. Sans exécuter JavaScript, impossible d’aller plus loin.

Captcha

Le site demande de résoudre un captcha. Cela arrive surtout quand l’IP a mauvaise réputation ou que les requêtes sont trop nombreuses.

Refus

Code 403, 429 ou 503 sans page de vérification. Le site est fermé à ce type de requêtes ou à ce réseau.

Questions sur le test de protection

01Comment le service détecte-t-il la protection d’un site ?
Le serveur ouvre l’adresse comme un navigateur Chrome et examine la réponse : en-têtes, cookies et code de la page. Chaque système de protection laisse ses traces, comme le cookie __cf_bm de Cloudflare ou _abck d’Akamai, et le test les lit.
02Pourquoi mon scraper voit-il autre chose ?
Nous envoyons une seule requête depuis des adresses Cloudflare. Les antibots tiennent compte de l’IP, du rythme des requêtes et du comportement : votre scraper à cent requêtes par minute peut tomber sur un captcha là où notre requête unique est passée.
03Qu’est-ce qu’une vérification du navigateur ?
Une page avec un script qui teste si un vrai navigateur l’a ouverte : il exécute du JavaScript, lit l’empreinte et demande parfois d’attendre. curl et requests ne passent pas une telle page.
04Les proxys aident-ils face à un antibot ?
Les proxys donnent aux requêtes des IP différentes, et l’antibot déclenche moins souvent ses vérifications. Si le site exige JavaScript, les proxys seuls ne suffisent pas : il faut un navigateur ou un antidetect, avec les proxys branchés dessus.
05Le service garde-t-il les adresses que je teste ?
Non. Le serveur ouvre l’adresse une fois, renvoie le résultat à votre navigateur et ne garde ni l’adresse ni la réponse du site.

Autres utilitaires

Mon IPVotre IP, ASN, listes noires et fuite WebRTCVérificateur de proxys pour LinuxScript bash : vérifie une liste sur des centaines de threads, en RBL et sur des sitesVérificateur de proxys pour WindowsScript PowerShell : vérifie une liste sur des centaines de threads, en RBL et sur des sites

Proxys pour sites protégés

Pools MIX jusqu’à 25 000 IP, trafic illimité, HTTP et SOCKS5 sur un même port, accès par IP. Une heure de test coûte 1 $.

Voir les forfaits
CONNEXION/INSCRIPTION