Может просто запускать паука с сохранением прогресса, и при 302-х закрывать его? А потом, через 5 минут снова запускать)

Или может настроить тротлинг, delay ....

вот с троттлингом на стаковерфло и рекоменуют играться.

На сколько знаю есть группа по ботам в телеграме, может там подскажут.

Конечно смотря какая капча, но скорее всего 5 минут не спасут

ага

ип-то один и тот же? лучше б прокси менять в этом случае

прокси в ротации

если с другого прокси запрос отправлять, то зачем ждать? серверу ж не видно что это снова ты

а если видно, то это другая проблема

от любят, как я посмотрю, люди "полную" информацию давать :)

возможно
только пока не могу определить какая.

пока настраиваю тротлинг.
просто сервер начинает брыкаться не сразу

а минут через 40

Ты дал продолжения 3.5 часа :3
Так мило

Есть у меня пара тупых вопросов. Задам из чуть позже - надо рутинную работу разобрать :(

держи в курсе

Злой баг, видимо к @wrar42, потому что по ветке asyncio-startrequests-asyncgen. На винде + python 3.7.2 все работает. Решил уже залить в продакш на линукс бокс (python 3.8.2) и под шампанское разрезать ленточку, но не тут-то было - падает с совершенно неинформативным трейсом:

2020-05-25 12:10:17 [scrapy] ERROR: Error while obtaining start requests
Traceback (most recent call last):
 File "/home/darker/.local/lib/python3.8/site-packages/scrapy/core/engine.py", line 135, in _next_request
   request = yield deferred_from_coro(slot.start_requests.anext())
 File "/usr/lib/python3.8/site-packages/twisted/internet/defer.py", line 824, in adapt
   extracted = result.result()
RuntimeError: anext(): asynchronous generator is already running
2020-05-25 12:10:17 [scrapy] INFO: Closing spider (finished)

в 3.8 хрень, да