Website-Schutz prüfen: Antibot, WAF und Captcha

Prüfen Sie eine Website, bevor Sie den Scraper starten oder Proxys kaufen. Der Dienst öffnet sie wie ein Browser und zeigt, welcher Antibot, welche WAF oder welches Captcha dort läuft und ob die Website die Seite an eine Anfrage ohne Browser ausliefert.

Zum Beispiel:

Warum Sie eine Website vor dem Scraping prüfen sollten

Der Schutz einer Website bestimmt, womit Sie sie scrapen und welche Proxys Sie brauchen. Die Prüfung dauert wenige Sekunden und ist kostenlos.

Ein Website-Fenster hinter Schutzschichten: Manche Anfragen kommen durch, andere prallen am Antibot ab

  1. Werkzeug wählen

    Liefert die Website die Seite sofort, reichen curl, requests oder Scrapy über Proxys. Verlangt sie JavaScript, planen Sie von Anfang an einen Browser oder Antidetect ein, sonst bleibt der Scraper an der Prüfung hängen.

  2. Proxys wählen

    DataDome, Akamai, PerimeterX und Qrator bewerten IP-Ruf und Anfragerate. Nehmen Sie für solche Websites einen Pool mit Tausenden Adressen und Rotation, damit auf jede IP wenige Anfragen kommen.

  3. Eigene Proxys testen

    Starten Sie nach dem Kauf den Checker im target-Modus auf derselben Website. Er öffnet sie über jeden Proxy und zeigt, wie viele durchkommen und wie viele ein Captcha bekommen.

    Proxy-Checker für LinuxProxy-Checker für Windows

Was die Prüfung erkennt

Die Systeme werden an Antwort-Headern, Cookies und Seitencode erkannt, CDNs und DDoS-Schutz zusätzlich an DNS und Netz der Website (ASN). Wir erweitern die Liste, wenn Websites ihren Schutz ändern.

Antibot

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF und DDoS-Schutz

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Captcha

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

So lesen Sie das Ergebnis

Seite geliefert

Code 200 und eine normale Seite. Auch hier kann ein Antibot sitzen: Er beobachtet die Anfragerate und schaltet die Prüfung später ein.

Browserprüfung

Statt der Seite kam ein Skript, das den Browser testet. Ohne JavaScript geht es nicht weiter.

Captcha

Die Website verlangt ein Captcha. Das passiert meist, wenn die IP einen schlechten Ruf hat oder zu viele Anfragen kommen.

Ablehnung

Code 403, 429 oder 503 ohne Prüfseite. Die Website ist für solche Anfragen oder für dieses Netz gesperrt.

Fragen zur Schutzprüfung

01Wie erkennt der Dienst den Schutz einer Website?
Der Server öffnet die Adresse wie ein Chrome-Browser und wertet die Antwort aus: Header, Cookies und Seitencode. Jedes Schutzsystem hinterlässt eigene Spuren, etwa das Cookie __cf_bm von Cloudflare oder _abck von Akamai, und die Prüfung liest sie.
02Warum sieht mein Scraper etwas anderes?
Wir senden eine einzige Anfrage von Cloudflare-Adressen. Antibots bewerten IP, Anfragerate und Verhalten, deshalb kann Ihr Scraper mit hundert Anfragen pro Minute ein Captcha bekommen, wo unsere einzelne Anfrage durchkam.
03Was ist eine Browserprüfung?
Eine Seite mit einem Skript, das prüft, ob ein echter Browser sie geöffnet hat: Es führt JavaScript aus, liest den Fingerabdruck und lässt manchmal warten. curl und requests kommen an so einer Seite nicht vorbei.
04Helfen Proxys gegen einen Antibot?
Proxys geben Anfragen verschiedene IPs, und der Antibot schaltet seltener Prüfungen ein. Verlangt die Website JavaScript, reichen Proxys allein nicht: Sie brauchen einen Browser oder Antidetect, an den die Proxys angeschlossen werden.
05Speichert der Dienst die Adressen, die ich prüfe?
Nein. Der Server öffnet die Adresse einmal, gibt das Ergebnis an Ihren Browser zurück und speichert weder die Adresse noch die Antwort der Website.

Weitere Werkzeuge

Meine IPIhre IP, ASN, Blacklists und WebRTC-LeckProxy-Checker für LinuxBash-Skript: prüft eine Liste in Hunderten Threads, per RBL und auf SeitenProxy-Checker für WindowsPowerShell-Skript: prüft eine Liste in Hunderten Threads, per RBL und auf Seiten

Proxys für geschützte Websites

MIX-Pools mit bis zu 25.000 IPs, unbegrenzter Traffic, HTTP und SOCKS5 auf einem Port, Zugang per IP. Eine Teststunde kostet 1 $.

Pakete ansehen
ANMELDEN/REGISTRIEREN