В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

492 membersпожаловаться на группу
2020 May 30

AR

Andrey Rahmatullin in Scrapy
Vlad Savva
Здравствуйте.
Паршу avito. Нужно парсить первые N объявлений в каждой из 59 категорий. Но уже при переходе на ~10-ую ссылку происходит редирект на другую страницу.
Уменьшил количество конкурентных запросов до 1, поставил задержку на 10 секунд. Редирект не происходит. Но 10 секунд очень долго, что не подходит для выполнения задачи.
Что делать в этой ситуации?
прокси ротейтить
источник
13:51пожаловаться#1

AR

Andrey Rahmatullin in Scrapy
или что такое "редирект на другую страницу"
источник
13:51пожаловаться#2

VS

Vlad Savva in Scrapy
[scrapy.downloadermiddlewares.redirect] DEBUG: Redirecting (302) to <GET https://www.avito.ru/blocked> from <GET https://www.avito.ru/moskva/>
источник
13:55пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
А, ну бан
источник
14:22пожаловаться#4

VS

Vlad Savva in Scrapy
Только через прокси?
источник
14:26пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
кто ж знает
источник
14:46пожаловаться#6

AR

Andrey Rahmatullin in Scrapy
но вообще это нормально
источник
14:46пожаловаться#7

🎱

🎱 in Scrapy
Есть сайт у которого фронт написан на ангуляре, соответственно, контент динамический.
в Network -> XHR можно выгрузить контент с помощью апи в json.

вопрос в следующем, какой бест практис для работы с динамическим контентом ? использовать селениум или же лучше будет если с апи тянуть данные?
источник
17:51пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
https://docs.scrapy.org/en/latest/topics/dynamic-content.html
источник
17:54пожаловаться#9

i

ildar in Scrapy
Походу это самая часто линкуемая ссылка в этом чатике)
источник
18:02пожаловаться#10

🎱

🎱 in Scrapy
Andrey Rahmatullin
https://docs.scrapy.org/en/latest/topics/dynamic-content.html
для подводки.
When this happens, the recommended approach is to find the data source and extract the data from it.

в моем случае, все достается через XHR, селениум не нужен в этом случае, так?)
источник
18:07пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
да
источник
18:07пожаловаться#12

🎱

🎱 in Scrapy
Andrey Rahmatullin
да
спасибо)
источник
18:07пожаловаться#13

🎱

🎱 in Scrapy
Andrey Rahmatullin
да
а можно запрос который в XHR достать как-то без копипаста?
вытащить с помощью скрапи как нибудь ?
источник
18:08пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
от сайта зависит
источник
18:09пожаловаться#15

🎱

🎱 in Scrapy
Andrey Rahmatullin
от сайта зависит
как это узнать, не подскажешь?🙏
источник
18:09пожаловаться#16

AR

Andrey Rahmatullin in Scrapy
читать код страницы и используемого джса, может там где-то прописано как она получается
источник
18:09пожаловаться#17

🎱

🎱 in Scrapy
Andrey Rahmatullin
читать код страницы и используемого джса, может там где-то прописано как она получается
спасибо, попробую
источник
18:23пожаловаться#18

🎱

🎱 in Scrapy
Andrey Rahmatullin
читать код страницы и используемого джса, может там где-то прописано как она получается
а если я из XHR вытащу и пропишу урл в спайдере, то так делать тоже ок ?
источник
18:28пожаловаться#19

AR

Andrey Rahmatullin in Scrapy
если урл не меняется то да
источник
18:28пожаловаться#20