S
Size: a a a
2020 June 13
A
очень интересно учитывая что нет ссылки
https://www.avito.ru/respublika_krym/transport - на некоторых обьявах такая вот защита что ли
если нажать на "Показать телефон"
вот так правда нажалось, но чувствую что это не правильно
если нажать на "Показать телефон"
вот так правда нажалось, но чувствую что это не правильно
div.js-anonym-phone-popup-content:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1)S
https://www.avito.ru/respublika_krym/transport - на некоторых обьявах такая вот защита что ли
если нажать на "Показать телефон"
вот так правда нажалось, но чувствую что это не правильно
если нажать на "Показать телефон"
вот так правда нажалось, но чувствую что это не правильно
div.js-anonym-phone-popup-content:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1) > div:nth-child(1)SS
а как yelp относится к парсингу? Достаточно ли использовать прокси и user agent?
К
а как yelp относится к парсингу? Достаточно ли использовать прокси и user agent?
Соблюдай скорость иначе забанят или навсегда, или очень надолго
SS
Соблюдай скорость иначе забанят или навсегда, или очень надолго
5-6 запросов в минуту с одного IP?
К
5-6 запросов в минуту с одного IP?
Думаю так нормально будет, точные цифры уже не помню
SS
А где можно почитать про организацию процесса поддержки парсинга 100+ сайтов? Альтернативно - готов заплатить за консультацию по этому вопросу.
2020 June 14
К
А где можно почитать про организацию процесса поддержки парсинга 100+ сайтов? Альтернативно - готов заплатить за консультацию по этому вопросу.
Думаю особо нигде
AS
а как yelp относится к парсингу? Достаточно ли использовать прокси и user agent?
Насколько я знаю, оч плохо) и скорее всего перечисленного недостаточно
AR
чо
AR
из селектора урл конечно никак, но вопрос криво сформулирован (и код кривой)
AR
потому что объект response зачем-то затирается
OS
def parse(self, response):
self.driver.set_window_size(1349, 629)
self.driver.get(response.url)
response = Selector(text=self.driver.page_source)
подскажите как получить адрес страницы если в респонс передан селектор
а что за драйвет?