Зачем он тут

10 запросов

Http

Ну ну

И что

🤔

Там прокси используется. Если один заблокируют, подаётся (там генератор) следующий. А если сразу в 2ух потоках - оба пытаются следующий получить.

Ну так обычно собирают кучку прокси

В тот же список

И берут

Попум

В чем проблема

Стандартная requests за прокси берет объект такой структуры`{http: '123.123.43.43:1234', https: '123.123.43.43:1234'}`. Т.е. не списком. Приходится сначала выбрать прокси, а потом (грубо говоря) его один засунуть в эту структуру.

Чтобы функции в потоках не парились с прокси, я им подаю самописный объект "Requester". Запросы в потоках совершаются "requester.get(method, url, json...)".
requester, если запрос завершился но статус не 200, повторяет запрос, подставляя следующий прокси используя генератор new_proxy = next(proxy_generator) - это слабое место.

И вижу собственно только 2 варианта:
- обернуть получение нового прокси в Lock
- либо делать очередь нормальную

первый вариант быстрее. просто хз какой из локов брать

🤔

вот етижы посатижы

А кто мешает передавать {хттп:переменная}

вижу ошибку

И в переменную пихать проксю

Делаем список проксей

И в каждом треде.
Иф код != 200:
   Прости = список проксей.попуп()