R#
Tim
Ну я массово пока не делал, один запрос быстро вроде как отрабатывает
ну 3,5 ляма это ГГ, если без проксей
Size: a a a
2021 January 20
P
думаю на первых тысячах забанят
T
3 мульта. а пробовал уже? бан по железу не получил еще?
Нет пока не пробовал, вот решил сперва тут проконсультироваться к ак лучше сделать
P
или капчу выдадут
T
ну 3,5 ляма это ГГ, если без проксей
Ну само собой с проксями
T
Или есть еще вариант - не парсить по всем 250 запчастям, а парсить по конкретной машине, а потмо разбирать ответ по вхождениям на разные запчасти
R#
Оба подхода - непростые
парсить на лету отлично когда нагрузки нету, а потом бан на ровном месте и ГГ
парсить на лету отлично когда нагрузки нету, а потом бан на ровном месте и ГГ
T
чтоб определить, что есть что
R#
парсинг же 3,5 ляма страниц - хорош тем что у тебя все будет лежать, но инфа будет наверное быстро протухать, ну и проксей сколько надо будет ? 1000 мало будет
T
Оба подхода - непростые
парсить на лету отлично когда нагрузки нету, а потом бан на ровном месте и ГГ
парсить на лету отлично когда нагрузки нету, а потом бан на ровном месте и ГГ
У меня просто в этом опыта нет, мне интересно, с какой периодичностью можно с 1 прокси запросы слать так чтоб не улететь в бан, или это только опытным путем?
T
парсинг же 3,5 ляма страниц - хорош тем что у тебя все будет лежать, но инфа будет наверное быстро протухать, ну и проксей сколько надо будет ? 1000 мало будет
Не особо быстро, раз в неделю/две было бы нормально обновлять
R#
Я парсил OLX в 20 потоков, 480.000 урл - 4 часа.
но это без проксей.
но это без проксей.
R#
Итого это около суток будет.
R#
Tim
У меня просто в этом опыта нет, мне интересно, с какой периодичностью можно с 1 прокси запросы слать так чтоб не улететь в бан, или это только опытным путем?
конечно опытным
T
Я парсил OLX в 20 потоков, 480.000 урл - 4 часа.
но это без проксей.
но это без проксей.
хм, тоесть через 10 проксей - в 10 раз быстрее по логике вещей?
R#
Tim
хм, тоесть через 10 проксей - в 10 раз быстрее по логике вещей?
нет конечно
я ж написал - 20 потоков
с проксями медленнее выходит
я ж написал - 20 потоков
с проксями медленнее выходит
R#
а какой пример урла и что надо забирать?
T
нет конечно
я ж написал - 20 потоков
с проксями медленнее выходит
я ж написал - 20 потоков
с проксями медленнее выходит
А технически, как эти потоки организовывал?
R#
T
а какой пример урла и что надо забирать?
https://www.ebay.com/sch/i.html?_nkw=A%2FC+DRYER&_in_kw=1&_ex_kw=&_sacat=6000&LH_Sold=1&_udlo=&_udhi=&LH_ItemCondition=4&_samilow=&_samihi=&_sadis=15&_stpos=73533&_sargn=-1%26saslc%3D1&_fsradio2=%26LH_LocatedIn%3D1&_salic=1&LH_SubLocation=1&_sop=12&_dmd=1&_ipg=200&LH_Complete=1&_fosrp=1
Забираю тайтл листинга, цену, дату продажи и номер листинга
Забираю тайтл листинга, цену, дату продажи и номер листинга
