בדיקת הגנת אתר: אנטי-בוט, WAF וקפצ׳ה

בדקו את האתר לפני שמריצים סקרייפר או קונים פרוקסי. השירות יפתח אותו כמו דפדפן ויראה איזה אנטי-בוט, WAF או קפצ׳ה יש באתר והאם הוא מגיש את הדף לבקשה בלי דפדפן.

לדוגמה:

למה לבדוק אתר לפני גריפת נתונים

ההגנה של האתר קובעת במה לגרוף אותו ואילו פרוקסי לקחת. הבדיקה לוקחת כמה שניות והיא בחינם.

חלון אתר מאחורי שכבות הגנה: חלק מהבקשות עוברות וחלק נבלמות באנטי-בוט

  1. לבחור כלי

    האתר מגיש את הדף מיד: יספיקו curl, requests או Scrapy דרך פרוקסי. האתר דורש JavaScript: תכננו דפדפן או אנטי-דיטקט מההתחלה, אחרת הסקרייפר ייתקע בבדיקה.

  2. לבחור פרוקסי

    DataDome, Akamai, PerimeterX ו-Qrator בוחנים את המוניטין של ה-IP ואת קצב הבקשות. לאתרים כאלה קחו מאגר עם אלפי כתובות ורוטציה, כך שכל IP יישא מעט בקשות.

  3. לבדוק את הפרוקסי שלכם

    אחרי הרכישה הריצו את הצ׳קר במצב target על אותו אתר. הוא יפתח את האתר דרך כל פרוקסי ויראה כמה עוברים וכמה מקבלים קפצ׳ה.

    בודק פרוקסי ל-Linuxבודק פרוקסי ל-Windows

מה הבדיקה מזהה

המערכות מזוהות לפי כותרות התגובה, העוגיות וקוד הדף, ורשתות CDN והגנות DDoS גם לפי ה-DNS והרשת של האתר (ASN). אנחנו מרחיבים את הרשימה כשאתרים משנים את ההגנה.

אנטי-בוט

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF והגנה מ-DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

קפצ׳ה

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

איך לקרוא את התוצאה

האתר הגיש את הדף

קוד 200 ודף רגיל. גם כאן יכול להיות אנטי-בוט: הוא עוקב אחרי קצב הבקשות ומפעיל בדיקה מאוחר יותר.

בדיקת דפדפן

במקום הדף הגיע סקריפט שבודק את הדפדפן. בלי להריץ JavaScript אי אפשר להמשיך.

קפצ׳ה

האתר מבקש לפתור קפצ׳ה. זה קורה בדרך כלל כשלכתובת ה-IP יש מוניטין רע או כשיש יותר מדי בקשות.

סירוב

קוד 403, 429 או 503 בלי דף בדיקה. האתר סגור לבקשות כאלה או לרשת הזו.

שאלות על בדיקת ההגנה

01איך השירות מזהה את הגנת האתר?
השרת פותח את הכתובת כמו דפדפן Chrome ובוחן את התגובה: כותרות, עוגיות וקוד הדף. כל מערכת הגנה משאירה עקבות משלה, למשל העוגייה __cf_bm של Cloudflare או _abck של Akamai, והבדיקה קוראת אותן.
02למה הסקרייפר שלי רואה משהו אחר?
אנחנו שולחים בקשה אחת מכתובות של Cloudflare. אנטי-בוטים מתחשבים בכתובת ה-IP, בקצב הבקשות ובהתנהגות, ולכן סקרייפר עם מאה בקשות בדקה יכול לקבל קפצ׳ה במקום שבו הבקשה הבודדת שלנו עברה.
03מה זו בדיקת דפדפן?
דף עם סקריפט שבודק אם דפדפן אמיתי פתח אותו: הוא מריץ JavaScript, קורא את טביעת האצבע ולפעמים מבקש להמתין. curl ו-requests לא עוברים דף כזה.
04האם פרוקסי עוזרים מול אנטי-בוט?
פרוקסי נותנים לבקשות כתובות IP שונות, והאנטי-בוט מפעיל בדיקות לעיתים רחוקות יותר. אם האתר דורש JavaScript, פרוקסי לבד לא מספיקים: צריך דפדפן או אנטי-דיטקט שהפרוקסי מחוברים אליו.
05השירות שומר את הכתובות שאני בודק?
לא. השרת פותח את הכתובת פעם אחת, מחזיר את התוצאה לדפדפן שלכם ולא שומר לא את הכתובת ולא את תגובת האתר.

כלי עזר נוספים

ה-IP שליה-IP שלכם, ASN, רשימות שחורות ודליפת WebRTCבודק פרוקסי ל-Linuxסקריפט Bash: בודק רשימה במאות תהליכונים, ב-RBL ובאתריםבודק פרוקסי ל-Windowsסקריפט PowerShell: בודק רשימה במאות תהליכונים, ב-RBL ובאתרים

פרוקסי לאתרים מוגנים

מאגרי MIX של עד 25,000 כתובות IP, תעבורה ללא הגבלה, HTTP ו-SOCKS5 באותו פורט, גישה לפי IP. שעת ניסיון עולה 1$.

לחבילות
התחברות/הרשמה