Veri kazıma için proxy

Proxy'yi kazıyıcıya nasıl bağlarsınız

1. 1
   1 $ karşılığında bir saat alın ve kazıyıcının çalıştığı sunucunun IP'sini girin.

   Erişim beyaz liste ile verilir, hesap başına 10 adrese kadar. Kullanıcı adı ve şifre gerekmez.

2. 2
   Panelde proxy listesi bağlantısını kopyalayın.

   Bağlantı düz metin bir dosya döndürür, her satırda bir proxy: adres ve port. Yaklaşık on ağ geçidi adresi, binlerce port ve her port ayrı bir proxy. Sonu .csv ile biten aynı bağlantı listeyi ülkelerle verir.

3. 3
   Bağlantıyı kazıyıcıya proxy kaynağı olarak yükleyin.

   A-Parser ve ZennoPoster bağlantıyı kendileri yeniden okur. Scrapy ve kendi kodunuzda listeyi 10 dakikada bir bir betikle yenileyin, örnek aşağıda.

4. 4
   Kazıyıcının iş parçacığı sayısını paketteki port sayısının üzerine çıkarmayın.

   Basic için 500, Business için 1.000, Elite için 1.500. Ek iş parçacığı bir haftadan uzun sürelerde satılır.

5. 5
   Protokolü aracınıza göre seçin.

   SOCKS5 her TCP trafiğiyle çalışır; HTTP(S) SOCKS desteği olmayan araçlar için uygundur. İkisi de aynı porttadır.

Liste Python'da böyle yüklenir. PROXY_LIST_URL_FROM_DASHBOARD yerine paneldeki bağlantıyı koyun, gerisini olduğu gibi bırakın.

import random, time, requests

PROXY_LIST_URL = "PROXY_LIST_URL_FROM_DASHBOARD"
REFRESH_SEC = 600

_pool, _loaded = [], 0

def pool():
    global _pool, _loaded
    if time.time() - _loaded > REFRESH_SEC:
        text = requests.get(PROXY_LIST_URL, timeout=15).text
        _pool = [line.strip() for line in text.splitlines() if ":" in line]
        _loaded = time.time()
    return _pool

def fetch(url, tries=3):
    for _ in range(tries):
        proxy = random.choice(pool())
        try:
            return requests.get(url, timeout=15,
                                proxies={"http": f"socks5h://{proxy}", "https": f"socks5h://{proxy}"})
        except requests.RequestException:
            continue
    return None