AR
в вкладке нетворк не видно? :)
Size: a a a
2020 June 12
SS
Я обхожу страницы товаров на домене amazon.in . Есть некоторый небольшой список товаров, которые возвращают единственной моей прокси ошибку 503 (все эти страницы принадлежат нескольким конкретным магазинам. Но при этом большинство их товаров нормально грузится). В чем может быть проблема?
✏d
в вкладке нетворк не видно? :)
тот что в нетворке не выдает все позиции
AR
ты какой-то секретный хочешь?
✏d
https://api.cian.ru/search-offers/v2/search-offers-desktop/
вот этот ранше пользовали, сейчас там 404
вот этот ранше пользовали, сейчас там 404
2020 June 13
SS
Я обхожу страницы товаров на домене amazon.in . Есть некоторый небольшой список товаров, которые возвращают единственной моей прокси ошибку 503 (все эти страницы принадлежат нескольким конкретным магазинам. Но при этом большинство их товаров нормально грузится). В чем может быть проблема?
мне кидают каптчи, но почему то не на все запросы
SS
Проводил я как то ресерч на эту тему )
расскажите
SS
а куки разве какое то значение играют?
A
всем привет
подскажите почему сервис видит мой юзер агент, а не тот что я передаю
подскажите почему сервис видит мой юзер агент, а не тот что я передаю
scrapy shell -s USER_AGENT='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' https://whoer.net/ru
сервис показывает:Заголовки:
Mozilla/5.0 (Windows NT 5.1; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
JavaScript:
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:77.0) Gecko/20100101 Firefox/77.0
OS
всем привет
подскажите почему сервис видит мой юзер агент, а не тот что я передаю
подскажите почему сервис видит мой юзер агент, а не тот что я передаю
scrapy shell -s USER_AGENT='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36' https://whoer.net/ru
сервис показывает:Заголовки:
Mozilla/5.0 (Windows NT 5.1; WOW64; rv:56.0) Gecko/20100101 Firefox/56.0
JavaScript:
Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:77.0) Gecko/20100101 Firefox/77.0
А вы не на shell используйте
OS
Можно request в логи вывести да увидеть какие заголовки передаются
AR
Откуда в пауке взялся джс?
AS
а куки разве какое то значение играют?
Ну, как минимум, Амазон показывает товары и цены в зависимости от выбранной локации, а локация ставится куками
SB
Всех приветствую.
Могу я здесь задавать вопросы по теме парсинга в целом, или кто-нибудь знает форумы или каналы, где можно спросить людей занимающихся этим профессионально?
Могу я здесь задавать вопросы по теме парсинга в целом, или кто-нибудь знает форумы или каналы, где можно спросить людей занимающихся этим профессионально?