Size: a a a

2020 August 28

AR

Andrey Rahmatullin in Scrapy
ревень
источник

МС

Михаил Синегубов... in Scrapy
Andrey Rahmatullin
ревень
😂
источник

AR

Andrey Rahmatullin in Scrapy
ну хоть не }|{onoPa3Pb|BameJ|b и на том спасибо
источник

A

A komy legko? in Scrapy
источник

МП

Максим Петров... in Scrapy
😂😂
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
кстати, надо взять на заметку для парсинга - юзерагент постмана местами в вайт-листах для тестирования добавлен
источник

AR

Andrey Rahmatullin in Scrapy
😱
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
import requests

url = "https://kaspi.kz/shop/p/lg-32lm570bpla-chernyi-1802037/offers"

payload = dict(c=195620100,limit=20,page=0,sort="asc")
headers = {
 'User-Agent': 'PostmanRuntime/7.26.3'
}
#
response = requests.get(url, headers=headers, params= payload)

там хедера с ЮА хватает
источник

A

A komy legko? in Scrapy
my_fake_useragent никак?   не подойдет?
источник

A

Andrii in Scrapy
✏️ Oleksandr dntPanix |Worm|
import requests

url = "https://kaspi.kz/shop/p/lg-32lm570bpla-chernyi-1802037/offers"

payload = dict(c=195620100,limit=20,page=0,sort="asc")
headers = {
 'User-Agent': 'PostmanRuntime/7.26.3'
}
#
response = requests.get(url, headers=headers, params= payload)

там хедера с ЮА хватает
import requests
url = "https://kaspi.kz/shop/p/lg-32lm570bpla-chernyi-1802037/offers?c=195620100&limit=20&page=0&sort=asc"
response = requests.request("GET", url, headers={'User-Agent': 'Abrakadabra'})
print(response.text.encode('utf8'))
источник

A

Andrii in Scrapy
такое работает на ура)
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
а без ЮА?
источник

A

Andrii in Scrapy
ему пофиг какой ЮА, главное что есть
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
а разве питоновский реквест не дает свой ЮА по умолчанию? Значит что-то блочит питоновский ЮА, ибо без ЮА виснет
источник

S

SoHard 🎄 in Scrapy
✏️ Oleksandr dntPanix |Worm|
а разве питоновский реквест не дает свой ЮА по умолчанию? Значит что-то блочит питоновский ЮА, ибо без ЮА виснет
там пишет что ты из пайтона пришёл
источник

A

A komy legko? in Scrapy
✏️ Oleksandr dntPanix |Worm|
а разве питоновский реквест не дает свой ЮА по умолчанию? Значит что-то блочит питоновский ЮА, ибо без ЮА виснет
давает request
источник

✏d

✏️ Oleksandr dntPani... in Scrapy
SoHard 🎄
там пишет что ты из пайтона пришёл
ну поле юзерагента все равно заплнено то
источник

S

SoHard 🎄 in Scrapy
✏️ Oleksandr dntPanix |Worm|
ну поле юзерагента все равно заплнено то
да
источник

A

Andriy in Scrapy
Кто-то может подсказать быструю библиотеку для работы с Instagram?

(Использовал ранее Instaloader, но он слишком медленный😅)
источник

МС

Михаил Синегубов... in Scrapy
Andriy
Кто-то может подсказать быструю библиотеку для работы с Instagram?

(Использовал ранее Instaloader, но он слишком медленный😅)
переделанный инсталоадер.
и, смотря что ты считаешь "быстрым"
источник