🎱
Size: a a a
2020 May 30
D
Скажите, пожалуйста, как я могу посмотреть на POST запрос, который я отправляю со скраппера? Заголовки, параметры, и т.д.
D
Дублирую AJAX запрос, вроде бы все заголовки и остальное указываю так же, как в браузере, но в ответ получаю 403 Forbidden.
AR
Красиво только сниффером
A
всем привет
у сайта скорее всего есть защита
на
пробовал запускать с разными юзер агентами но нет
такое можно как то обойти?
у сайта скорее всего есть защита
на
view(response) показывает белый пустой экранпробовал запускать с разными юзер агентами но нет
такое можно как то обойти?
scrapy shell -s USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12' 'https://site.com'AR
читай код страницы, если там джс-редирект то скорее всего плохо, если просто 0 байт то может достаточно поиграться с хедерами
SS
всем привет
у сайта скорее всего есть защита
на
пробовал запускать с разными юзер агентами но нет
такое можно как то обойти?
у сайта скорее всего есть защита
на
view(response) показывает белый пустой экранпробовал запускать с разными юзер агентами но нет
такое можно как то обойти?
scrapy shell -s USER_AGENT='Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_4) AppleWebKit/600.7.12 (KHTML, like Gecko) Version/8.0.7 Safari/600.7.12' 'https://site.com'можно скачать html и в shell загрузить файл
SS
только JS перед эти отключите
AR
да кода вообще нет
просто пустая страница
просто пустая страница
copy as curl в браузере и выполнить
AR
если поможет, убрать куки и снова выполнить
AR
Да
A
ребят кто то использовал
https://github.com/hyan15/crawler-demo/blob/master/crawling-basic/scrapy_user_agents/README.rst
не могу понять как настраивать
https://github.com/hyan15/crawler-demo/blob/master/crawling-basic/scrapy_user_agents/README.rst
не могу понять как настраивать
Configuring User-Agent type - где найти эти настройкиAR
Что значит найти?