فحص حماية الموقع: مضاد الروبوتات وWAF والكابتشا

افحص الموقع قبل تشغيل برنامج الاستخراج أو شراء البروكسيات. ستفتحه الخدمة كما يفعل المتصفح وتعرض أي مضاد روبوتات أو WAF أو كابتشا يستخدمه، وهل يعطي الصفحة لطلب دون متصفح.

مثلًا:

لماذا تفحص الموقع قبل استخراج البيانات

حماية الموقع تحدد أداة الاستخراج والبروكسيات المناسبة. يستغرق الفحص ثوانيَ قليلة وهو مجاني.

نافذة موقع خلف طبقات من الحماية: بعض الطلبات تمر وبعضها يرتطم بمضاد الروبوتات

  1. اختر الأداة

    إذا أعطى الموقع الصفحة فورًا فيكفي curl أو requests أو Scrapy عبر البروكسي. وإذا طلب تنفيذ JavaScript فخطط لمتصفح أو أداة antidetect من البداية، وإلا سيتعثر البرنامج عند الفحص.

  2. اختر البروكسيات

    تقيّم DataDome وAkamai وPerimeterX وQrator سمعة العنوان ومعدل الطلبات. لهذه المواقع خذ مجموعة فيها آلاف العناوين مع التدوير، حتى يحمل كل عنوان طلبات قليلة.

  3. اختبر بروكسياتك

    بعد الشراء شغّل المدقق في وضع target على الموقع نفسه. سيفتح الموقع عبر كل بروكسي ويعرض كم منها يمر وكم يتلقى كابتشا.

    فاحص بروكسي لـ Linuxفاحص بروكسي لـ Windows

ما الذي يكشفه الفحص

تُعرف الأنظمة من ترويسات الاستجابة وملفات تعريف الارتباط وشيفرة الصفحة، وتُعرف شبكات CDN وحماية DDoS أيضًا من DNS الموقع وشبكته (ASN). نوسّع القائمة كلما غيّرت المواقع حمايتها.

مضاد روبوتات

  • Cloudflare Challenge
  • Cloudflare Bot Management
  • Akamai Bot Manager
  • DataDome
  • HUMAN (PerimeterX)
  • Kasada
  • Radware Bot Manager
  • Netacea
  • Variti
  • ServicePipe
  • Ozon Antibot
  • Wildberries Antibot
  • Avito Firewall
  • Imperva Advanced Bot Protection
  • Anubis
  • Imunify360
  • Fingerprint (FingerprintJS)
  • ThreatMetrix

WAF وحماية من DDoS

  • Imperva (Incapsula)
  • AWS WAF
  • F5 BIG-IP ASM
  • Reblaze
  • Sucuri
  • Vercel Firewall
  • DDoS-Guard
  • Qrator (Curator)
  • StormWall
  • Barracuda WAF
  • Citrix NetScaler
  • Fortinet FortiWeb
  • ModSecurity
  • Wordfence
  • BitNinja

كابتشا

  • Cloudflare Turnstile
  • Yandex SmartCaptcha
  • Google reCAPTCHA
  • hCaptcha
  • GeeTest
  • Arkose Labs (FunCaptcha)
  • Friendly Captcha
  • MTCaptcha
  • ALTCHA
  • Prosopo Procaptcha
  • Tencent Captcha
  • Alibaba Cloud Captcha

CDN

  • Cloudflare
  • Akamai
  • Amazon CloudFront
  • Fastly
  • Gcore
  • Bunny CDN
  • CDN77
  • Azure Front Door
  • Google Cloud CDN
  • KeyCDN
  • Edgio (Edgecast, Limelight)
  • Alibaba Cloud CDN
  • Tencent EdgeOne
  • Vercel
  • Netlify
  • CDNvideo
  • NGENIX

كيف تقرأ النتيجة

أعطى الموقع الصفحة

الرمز 200 وصفحة عادية. قد يوجد مضاد روبوتات هنا أيضًا: يراقب معدل الطلبات ويشغّل الفحص لاحقًا.

فحص المتصفح

بدل الصفحة وصل سكربت يختبر المتصفح. لا يمكن المتابعة دون تنفيذ JavaScript.

كابتشا

يطلب الموقع حل كابتشا. يحدث هذا عادة عندما تكون سمعة العنوان سيئة أو الطلبات كثيرة جدًا.

رفض

الرمز 403 أو 429 أو 503 دون صفحة فحص. الموقع مغلق أمام هذا النوع من الطلبات أو أمام هذه الشبكة.

أسئلة عن فحص الحماية

01كيف تكشف الخدمة حماية الموقع؟
يفتح الخادم العنوان كما يفعل متصفح Chrome وينظر في الاستجابة: الترويسات وملفات تعريف الارتباط وشيفرة الصفحة. كل نظام حماية يترك آثاره الخاصة، مثل ملف __cf_bm لدى Cloudflare أو _abck لدى Akamai، والفحص يقرأ هذه الآثار.
02لماذا يرى برنامج الاستخراج لديّ شيئًا آخر؟
نرسل طلبًا واحدًا من عناوين Cloudflare. مضادات الروبوتات تأخذ في الحسبان العنوان ومعدل الطلبات والسلوك، لذا قد يتلقى برنامجك الذي يرسل مئة طلب في الدقيقة كابتشا حيث مرّ طلبنا الوحيد.
03ما هو فحص المتصفح؟
صفحة فيها سكربت يتحقق من أن متصفحًا حقيقيًا فتحها: ينفّذ JavaScript ويقرأ البصمة وأحيانًا يطلب الانتظار. لا يستطيع curl ولا requests تجاوز صفحة كهذه.
04هل تساعد البروكسيات أمام مضاد الروبوتات؟
تمنح البروكسيات الطلبات عناوين مختلفة، فيشغّل مضاد الروبوتات الفحص بوتيرة أقل. إذا طلب الموقع تنفيذ JavaScript فلا تكفي البروكسيات وحدها: تحتاج إلى متصفح أو أداة antidetect تُوصل بها البروكسيات.
05هل تحفظ الخدمة العناوين التي أفحصها؟
لا. يفتح الخادم العنوان مرة واحدة ويعيد النتيجة إلى متصفحك، ولا يحفظ العنوان ولا استجابة الموقع.

أدوات أخرى

عنوان IP الخاص بيعنوان IP وASN والقوائم السوداء وتسريب WebRTCفاحص بروكسي لـ Linuxسكربت Bash: يفحص القائمة بمئات الخيوط وفي قوائم RBL والمواقعفاحص بروكسي لـ Windowsسكربت PowerShell: يفحص القائمة بمئات الخيوط وفي قوائم RBL والمواقع

بروكسيات للمواقع المحمية

مجمّعات MIX حتى 25,000 عنوان IP، حركة بيانات غير محدودة، HTTP وSOCKS5 على المنفذ نفسه، الوصول حسب IP. ساعة الاختبار بـ1$.

عرض الباقات
تسجيل الدخول/التسجيل