OS
HTTP/1.1 302 Moved temporarily
Size: a a a
2020 June 20
OS
я так понимаю 1.1
AR
Тогда не знаю, может паук через прокси?
OS
да, и курл через прокси
К
Да какая разница, я вывел что бы протестировать на курле
Гони лень из себя, оно так и происходит, тут переменную плохо назвал, там тесты не дописал, там на ошибку не проверил. Нужно всегда хорошо писать
A
Ребятки всем привет)
я наговнокодил паука который дергает телефоны с авито, ну как телефоны. там же картинки вместо телефонов, вот эти картинки и дергает.
все хорошо работает вот только как мне кажется слишком медленно это он делает
в категории 100 страниц по 50 объяв на каждой, в среднем 4900 - 4980 получается картинок.
и вытаскивает это все за 12 часов с одного айпи, с минимальным количеством запросов и паузами
если кто работал с авито, получалось ли обрабатывать такой объём за меньшее количество времени и если да то куда копать, что бы ускорить работу
я наговнокодил паука который дергает телефоны с авито, ну как телефоны. там же картинки вместо телефонов, вот эти картинки и дергает.
все хорошо работает вот только как мне кажется слишком медленно это он делает
в категории 100 страниц по 50 объяв на каждой, в среднем 4900 - 4980 получается картинок.
и вытаскивает это все за 12 часов с одного айпи, с минимальным количеством запросов и паузами
если кто работал с авито, получалось ли обрабатывать такой объём за меньшее количество времени и если да то куда копать, что бы ускорить работу
iz
Ребятки всем привет)
я наговнокодил паука который дергает телефоны с авито, ну как телефоны. там же картинки вместо телефонов, вот эти картинки и дергает.
все хорошо работает вот только как мне кажется слишком медленно это он делает
в категории 100 страниц по 50 объяв на каждой, в среднем 4900 - 4980 получается картинок.
и вытаскивает это все за 12 часов с одного айпи, с минимальным количеством запросов и паузами
если кто работал с авито, получалось ли обрабатывать такой объём за меньшее количество времени и если да то куда копать, что бы ускорить работу
я наговнокодил паука который дергает телефоны с авито, ну как телефоны. там же картинки вместо телефонов, вот эти картинки и дергает.
все хорошо работает вот только как мне кажется слишком медленно это он делает
в категории 100 страниц по 50 объяв на каждой, в среднем 4900 - 4980 получается картинок.
и вытаскивает это все за 12 часов с одного айпи, с минимальным количеством запросов и паузами
если кто работал с авито, получалось ли обрабатывать такой объём за меньшее количество времени и если да то куда копать, что бы ускорить работу
Конечно в разы быстрее это собирается
AR
Уменьшить паузы
AR
а хоть куда копать?
прокси это понятно
хотел обкатать основу, а потом уже через прокси запускать
прокси это понятно
хотел обкатать основу, а потом уже через прокси запускать
Капец логика
A
Капец логика
а что не так то?
AR
"хочу обкатать основу, скоростью займусь потом" и "хочу скорость" несовместимы