R#
я пром такими парсил, 20К позиций или около того, как только бан меняем проксю
Size: a a a
2021 January 23
T
Вопрос был, как лучше сделать - разбить на чанки и таймауты воткнуть или джобсами или еще как, а не в том, побанит ли меня ебей)
VY
я пром такими парсил, 20К позиций или около того, как только бан меняем проксю
вот для Тима конкретная цифра...
R#
вот для Тима конкретная цифра...
там 1 поток был и сколько раз меняло хз
я теперь такую проксю дома заимел вообще
я теперь такую проксю дома заимел вообще
T
вот для Тима конкретная цифра...
я не пром паршу и у меня кстати есть знакомый, который парсит алибабу, всю. каждый день. Но там команда спецов хороших работает, но это я к тому, что нет невыполнимых задач
VY
Tim
Вопрос был, как лучше сделать - разбить на чанки и таймауты воткнуть или джобсами или еще как, а не в том, побанит ли меня ебей)
тут не или, а и - джобы тоже могут использовать чанки.
Без чанков вообще не понятно - как могут работать такие большие процессы.
Без чанков вообще не понятно - как могут работать такие большие процессы.
VY
там 1 поток был и сколько раз меняло хз
я теперь такую проксю дома заимел вообще
я теперь такую проксю дома заимел вообще
зачем она тебе дома?
T
там 1 поток был и сколько раз меняло хз
я теперь такую проксю дома заимел вообще
я теперь такую проксю дома заимел вообще
первый раз такое слышу, типа прокся, которая меняется динамически?
R#
Tim
первый раз такое слышу, типа прокся, которая меняется динамически?
да
T
хм клево, спасибо, поищу че за зверь
RK
Tim
хм клево, спасибо, поищу че за зверь
для этого платные сервисы есть, бесплатные постоянно отваливаются
T
для этого платные сервисы есть, бесплатные постоянно отваливаются
да о бесплатных тут речи не идет понятно
RK
я сейчас не вспомню, но помню использовали который чутли не на каждый запрос, новый сервер выбирал
R#
зачем она тебе дома?
для парсинга, чтоб не покупать, покупать выходит не очень дешевл
https://proxy24.pro/#bayblock-id
хотя уже не очень и дорого
https://proxy24.pro/#bayblock-id
хотя уже не очень и дорого
R#
я сейчас не вспомню, но помню использовали который чутли не на каждый запрос, новый сервер выбирал
есть и такой
T
я пром такими парсил, 20К позиций или около того, как только бан меняем проксю
ты это 20к товаров потом сравнивал, чтоб не было повторов и все такое?
R#
Гугл правда не попарсишь, а вот для других целей норм
R#
ты это 20к товаров потом сравнивал, чтоб не было повторов и все такое?
я контакты продавцов парсил
T
Спасибо за инфу всем