МБ
зачем в браузере, я про страницы, которые скрапи видит плохими
в респонс не лазал
Size: a a a
2020 August 23
МБ
а сайт банит? там вообще тор нужен?
да, причём намертво
2020 August 24
МС
в респонс не лазал
первое что лезет в головую.
достаешь, наверняка через что-то вроде response.xpath('//div/text()').get()
при нормально скорости все Ок. При повышенной нагрузке, или, при запросе с тора (насколько я слышал, он довольно легко палится) оборачиваем некоторые символы пыстыми div'ам. Не уверен, но, по моему, приведенный выше xpath пропустит такие символы.
и да, если начинаются такие шаманста, смотреть ответ в браузере - последнее дело. это только сам респонс из паука смотреть, или сохранить его.
достаешь, наверняка через что-то вроде response.xpath('//div/text()').get()
при нормально скорости все Ок. При повышенной нагрузке, или, при запросе с тора (насколько я слышал, он довольно легко палится) оборачиваем некоторые символы пыстыми div'ам. Не уверен, но, по моему, приведенный выше xpath пропустит такие символы.
и да, если начинаются такие шаманста, смотреть ответ в браузере - последнее дело. это только сам респонс из паука смотреть, или сохранить его.
А
Ребят, кому интересно, залетайте на розыгрыш промокодов на сервис распознавания капчи - Рукапча в Инстаграмм
https://bit.ly/2XSmtUD
P.S. Админ разрешил
https://bit.ly/2XSmtUD
P.S. Админ разрешил
A
Ребят, кому интересно, залетайте на розыгрыш промокодов на сервис распознавания капчи - Рукапча в Инстаграмм
https://bit.ly/2XSmtUD
P.S. Админ разрешил
https://bit.ly/2XSmtUD
P.S. Админ разрешил
Сделаете мидварку для скрапи у вас будет в +++ больше клиентов :)
МС
Почему бы вам самостоятельно это не сделать и заработать 10% на софтовой партнерке?
потому что там геморой :)
ибо сразу начнуться вопли "лишние каптчи разгадывает", а что бы такого не было, надо сильно во внутренности лезть, как я понимаю
ибо сразу начнуться вопли "лишние каптчи разгадывает", а что бы такого не было, надо сильно во внутренности лезть, как я понимаю
МС
Чудищи, хоть бы кто сказал, что не в тот чат набросал😂
А
Всем привет.
У меня тут проблема с выполнением кода из туториала по Scrapy. По идее после строки с scrapy.FormRequest я должен был залогиниться на сайте и парсить ссылки в цитатах, которые видны только после входа. Но почему-то вход не происходит, и вместо ссылок у меня None.
Код: https://gist.github.com/52e991c1ae3b62622f131928b78ca045
Вывод: https://gist.github.com/8a82d4b1c63fd231cfe1c1c08fd07cf7
P.S. Я только начал изучать Scrapy, и вполне возможно, что я протупил на какой-то части. Так что прошу не кидаться тапками 😅
У меня тут проблема с выполнением кода из туториала по Scrapy. По идее после строки с scrapy.FormRequest я должен был залогиниться на сайте и парсить ссылки в цитатах, которые видны только после входа. Но почему-то вход не происходит, и вместо ссылок у меня None.
Код: https://gist.github.com/52e991c1ae3b62622f131928b78ca045
Вывод: https://gist.github.com/8a82d4b1c63fd231cfe1c1c08fd07cf7
P.S. Я только начал изучать Scrapy, и вполне возможно, что я протупил на какой-то части. Так что прошу не кидаться тапками 😅
AR
чот сложно
А
чот сложно
Что именно?
AR
ошибку не могу найти
AR
о, в 1.7.3. работает
AR
в 2.2 сломалось
AR
игнорится кука из 302 ответа почему-то
AR
а, это https://github.com/scrapy/scrapy/issues/4717 наверно
KS
У меня есть что-то вроде такого кода:
for url in urls:
yield response.follow(url, callback=self.parse_category)
yield Request(another_url, callback=self.parse_another_url, priority=1)
Если я хочу, чтобы полностью выполнились response.follow, и только после них просто Request, достаточно вот этого priority=1?
for url in urls:
yield response.follow(url, callback=self.parse_category)
yield Request(another_url, callback=self.parse_another_url, priority=1)
Если я хочу, чтобы полностью выполнились response.follow, и только после них просто Request, достаточно вот этого priority=1?
AR
нет, только inline_requests