Size: a a a

2020 August 28

✏d

✏️ Oleksandr dntPani... in Scrapy
import requests

url = "https://kaspi.kz/shop/p/lg-32lm570bpla-chernyi-1802037/offers"

payload = dict(c=195620100,limit=20,page=0,sort="asc")
headers = {
 'Cookie': 'JSESSIONID=AC2857143765DAF71A3F1AD535E03BD6'
}
#, headers=headers, params= payload
response = requests.get(url)
print(response)

вот так таки виснет, хоть с параметрами, хоть без
источник

МП

Максим Петров... in Scrapy
SoHard 🎄
всё работает
v scrapy shell deystvitel'no ampersandi zabil i napisal spasibo srazu. A requests ne daet response nikakoy.
источник

SS

Stepan Smirnov in Scrapy
Максим Петров
v scrapy shell deystvitel'no ampersandi zabil i napisal spasibo srazu. A requests ne daet response nikakoy.
пиши на английском, раз русской раскладки нет
источник

МП

Максим Петров... in Scrapy
ok
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
постман вообще валидный джсон выдает, вот хитрая штука
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
так, забыл у меня ж вопрос свежый -
для парсера выдает 403 а пр заходе по ровно той же ссылке через браузер - все ок. Чего надо поставить в скрапи, чтоб парсинг тоже заработал?
источник

AR

Andrey Rahmatullin in Scrapy
для начала юзерагент :)
источник

AR

Andrey Rahmatullin in Scrapy
если не поможет - брать постман, грузить туда копию браузерного реквеста и включать-выключать хедеры
источник

AR

Andrey Rahmatullin in Scrapy
ну или если там какой-нибуь антибот то страдать
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
наш'л такое:
process = CrawlerProcess(
           {
               'USER_AGENT': 'Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)'
           }
   )
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
а куды его в мидлваре?
источник

AR

Andrey Rahmatullin in Scrapy
Это настройка
источник

AR

Andrey Rahmatullin in Scrapy
Или в чем вопрос? К мидлварям это не относится
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
куда код вставлять
источник

AR

Andrey Rahmatullin in Scrapy
Никуда не надо этот код вставлять, меняй настройки
источник

AR

Andrey Rahmatullin in Scrapy
Если обычный проект то settings.py
источник

SS

Stepan Smirnov in Scrapy
а где можно найти рекомендации по работе с api, которые используют сайты?
источник

К

Кирилл in Scrapy
Stepan Smirnov
а где можно найти рекомендации по работе с api, которые используют сайты?
В их документации
источник

SS

Stepan Smirnov in Scrapy
Кирилл
В их документации
а ее нет в открытом доступе
источник

МС

Михаил Синегубов... in Scrapy
Stepan Smirnov
а ее нет в открытом доступе
значит в документации, которой нет в окрытом доступе 😂
сам подумай, ты просишь рекомендации то, что имеет закрытый формат
источник