Site koruma testi: antibot, WAF ve captcha

Scraper’ı başlatmadan ve proxy satın almadan önce siteyi kontrol edin. Servis siteyi bir tarayıcı gibi açar; hangi antibot, WAF veya captcha olduğunu ve sitenin sayfayı tarayıcısız bir isteğe verip vermediğini gösterir.

Örneğin:

Scraping öncesi siteyi neden kontrol etmeli

Sitenin koruması, onu neyle tarayacağınızı ve hangi proxy’leri alacağınızı belirler. Kontrol birkaç saniye sürer ve ücretsizdir.

Koruma katmanlarının ardındaki bir site penceresi: isteklerin bir kısmı geçiyor, bir kısmı antibota takılıyor

  1. Aracı seçin

    Site sayfayı hemen veriyorsa proxy üzerinden curl, requests veya Scrapy yeterli. Site JavaScript istiyorsa baştan bir tarayıcı veya antidetect planlayın, yoksa scraper kontrole takılır.

  2. Proxy’leri seçin

    DataDome, Akamai, PerimeterX ve Qrator IP itibarına ve istek sıklığına bakar. Bu tür siteler için binlerce adresli ve rotasyonlu bir havuz alın; böylece her IP’ye az istek düşer.

  3. Kendi proxy’lerinizi test edin

    Satın aldıktan sonra checker’ı aynı sitede target modunda çalıştırın. Siteyi her proxy üzerinden açar ve kaçının geçtiğini, kaçının captcha aldığını gösterir.

    Linux için proxy checkerWindows için proxy checker

Kontrolün tanıdıkları

Sistemler yanıt başlıklarından, çerezlerden ve sayfa kodundan; CDN ve DDoS koruması ayrıca sitenin DNS kayıtlarından ve ağından (ASN) tanınır. Siteler korumalarını değiştirdikçe listeyi genişletiyoruz.

Antibot

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF ve DDoS koruması

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

Captcha

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

Sonuç nasıl okunur

Site sayfayı verdi

Kod 200 ve normal bir sayfa. Burada da antibot olabilir: istek sıklığını izler ve kontrolü sonra açar.

Tarayıcı kontrolü

Sayfa yerine tarayıcıyı sınayan bir betik geldi. JavaScript çalıştırmadan devam edilemez.

Captcha

Site captcha çözülmesini istiyor. Genelde IP’nin itibarı kötü olduğunda veya istek çok fazla olduğunda olur.

Ret

Kontrol sayfası olmadan 403, 429 veya 503 kodu. Site bu tür isteklere veya bu ağa kapalı.

Koruma testi hakkında sorular

01Servis sitenin korumasını nasıl tespit ediyor?
Sunucu adresi bir Chrome tarayıcısı gibi açar ve yanıta bakar: başlıklar, çerezler ve sayfa kodu. Her koruma sistemi kendi izlerini bırakır, örneğin Cloudflare’ın __cf_bm çerezi veya Akamai’nin _abck çerezi; test bu izleri okur.
02Benim scraper’ım neden başka bir şey görüyor?
Cloudflare adreslerinden tek bir istek gönderiyoruz. Antibotlar IP’yi, istek sıklığını ve davranışı hesaba katar; dakikada yüz istek atan scraper’ınız, bizim tek isteğimizin geçtiği yerde captcha alabilir.
03Tarayıcı kontrolü nedir?
Sayfayı gerçek bir tarayıcının açıp açmadığını sınayan betikli bir sayfadır: JavaScript çalıştırır, parmak izine bakar, bazen beklemenizi ister. curl ve requests böyle bir sayfayı geçemez.
04Proxy’ler antibota karşı işe yarar mı?
Proxy’ler isteklere farklı IP’ler verir ve antibot kontrolü daha seyrek açar. Site JavaScript istiyorsa yalnızca proxy yetmez: proxy’lerin bağlandığı bir tarayıcı veya antidetect gerekir.
05Servis kontrol ettiğim adresleri saklıyor mu?
Hayır. Sunucu adresi bir kez açar, sonucu tarayıcınıza gönderir ve ne adresi ne de sitenin yanıtını saklar.

Diğer araçlar

IP adresimIP’niz, ASN, kara listeler ve WebRTC sızıntısıLinux için proxy checkerBash betiği: listeyi yüzlerce iş parçacığında, RBL’de ve sitelerde kontrol ederWindows için proxy checkerPowerShell betiği: listeyi yüzlerce iş parçacığında, RBL’de ve sitelerde kontrol eder

Korumalı siteler için proxy

25.000 IP’ye kadar MIX havuzları, sınırsız trafik, aynı portta HTTP ve SOCKS5, IP ile erişim. Bir saatlik test 1 $.

Paketlere bak
GİRİŞ/KAYIT