Прокси для парсинга сайтов

Как подключить прокси к парсеру

1. 1
   Купите час за $1 и укажите IP сервера, на котором работает парсер.

   Доступ выдаётся по белому списку, до 10 адресов на аккаунт. Логин и пароль не нужны.

2. 2
   В личном кабинете скопируйте ссылку на список прокси.

   По ней отдаётся текстовый файл, строка на прокси: адрес и порт. Адресов-шлюзов в нём около десяти, портов тысячи, и каждый порт это отдельный прокси. Та же ссылка с .csv на конце отдаёт список со странами.

3. 3
   Загрузите ссылку в парсер как источник прокси.

   A-Parser и ZennoPoster перечитывают её сами. В Key Collector и Scrapy список удобнее подгружать скриптом раз в 10 минут, пример ниже.

4. 4
   Выставьте потоки парсера не выше числа портов в пакете.

   500 для Basic, 1 000 для Business, 1 500 для Elite. Больше потоков покупается на сроках от недели.

5. 5
   Выберите протокол по инструменту.

   SOCKS5 работает с любым TCP-трафиком, HTTP(S) подойдёт там, где SOCKS не поддерживается. Оба доступны на одном порту.

Так список подгружается из Python. Подставьте ссылку из кабинета вместо PROXY_LIST_URL_FROM_DASHBOARD, остальное менять не нужно.

import random, time, requests

PROXY_LIST_URL = "PROXY_LIST_URL_FROM_DASHBOARD"
REFRESH_SEC = 600

_pool, _loaded = [], 0

def pool():
    global _pool, _loaded
    if time.time() - _loaded > REFRESH_SEC:
        text = requests.get(PROXY_LIST_URL, timeout=15).text
        _pool = [line.strip() for line in text.splitlines() if ":" in line]
        _loaded = time.time()
    return _pool

def fetch(url, tries=3):
    for _ in range(tries):
        proxy = random.choice(pool())
        try:
            return requests.get(url, timeout=15,
                                proxies={"http": f"socks5h://{proxy}", "https": f"socks5h://{proxy}"})
        except requests.RequestException:
            continue
    return None