Потому я тут и спросил как лучше сделать

скорее всего это задача невыполнимая....
если у них есть доступ по АПИ, можно использовать его, скорее всего платно и там есть лимит; остальные фокусы все пойдут в топку....

че ж ей быть невыполнимой то, если существуют прокси

без проксей даже не пытайся

Ну я хочу понять, через сколько запросов с определенной систематичностью прокся в бан улетит, просто интересует технически как лучше слать эти запросы, джобсами или вот такими задержками или еще какие варианты есть

Ты бы свой проект с масспарсинга начинал, а не с архитектуры

Ну вот у меня щас этап масспарсинга

3,5 ляма джобов так себе идея конечно

Ну меня устроит, если это сделается например за месяц, люди вон писали выше, что парсили OLX в 10 потоков 480 000 запросов за час или чето около того

это я и писал, а знаешь как  парсил?

Ну если ты, то ты говорил, что парсером левым

мой IP был в белом списке ))

я бы ни за что не писал такое на пехепе, лучше на питон перенести

Мне б с пехепе сперва освоиться нормально.. а почему питон ? там многопоточность человеческая или еще причины какие-то?

потому что пыха медленно

кто такое сказал?

асинхронный пехапе придумали не зря

у меня есть знакомый, который пытался выполнить заказ с подобными целями - запросы на prom.ua, а потом на какого-то форекс брокера;
везде такие попытки рубятся на корню, и никакие прокси не помогают;
особенно бесплатные прокси, которые не стабильны, очень быстро закрываются/умирают.
Только на поиск и перебор проксей потратишь немерянно времени, а результат не определенный....
А платные - я не знаю - их-то тоже не соткни тысяч, через какое-то кол-во запросов - зарубят.
Разве что растянуть этот процесс на дооооооолгий срок

+ а еще в питоне куча всяких либ для работы с данными, которые ускорят работу, ну и скорость

есть решение - мобильные
но они дорогие