В любом случае, любой процесс можно запустить в подпроцессе)

Согласен, но это уже извращение какое-то. Плюс не совсем понятно, почему в топ документации выносят именно запуск через командную строку. В чем удобство позиционировать себя как отдельная утилита командной строки , а не часть какого-то большего проекта.

будешь бекенд разраб, а не только дата инженер

Спасибо, смотрю в эту сторону. Не совсем понятно чем там заниматься. Ну условно напишу свой интернет магазин, прикручу туда рассылку (меил чимп), разработаю модуль расчета доставки какой нибудь, что то еще но мне кажется это не так интересно как кпримеру тот же парсинг на scrapy)) когда можно собрать коменты и лайки по инстаграму  твоей девушки или подруги и вообще понять что это за человек😆😆😆

Тебе работать или интересно?

а, так ты прям свой коммерческий проект хочешь? это с другой стороны делается

как мне кажется

ну я слышал мнение что опыт на скрапи вообще особо денег не приносит

Доброго дня, коллеги!
Может, кто сталкивался с сайтом exist.ru? Проблема в том, что не удается сделать в среднем больше 50-ти запросов с одного ip, в т.ч. с элитных прокси. Одинаковый результат в однопоточном и многопоточных режимах. Время задержки между запросами ставил рандомную от 4-х до 10-ти сек., но потом увеличил до 30-ти, но ничего не изменилось - сервер все равно блочит айпишку. Валидные хедэры выставлял, сессии использовал (модуль requests). По анализу сайта вижу, что апи вроде есть, но как к нему подобраться не нашел. Если кто знает, как увеличить полезное число запросов, подскажите, пожалуйста!

Зачем тебе этот сайт? Нужна база?

а почему интерес появился спустя 4 месяца?

Зачем тебе этот сайт? Нужна база?