В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Scrapy

487 membersпожаловаться на группу
2020 May 26

SS

Stepan Smirnov in Scrapy
Alex
спасибо за разъяснение
если start_urls - считается корнем то как быть в такой ситуации
start_urls - 1 ссылка, 1 обращение +1 к лимиту
но если у меня всего одна ссылка но из этой ссылки я получаю следующие страницы для парсинга.
получается внутри 1 ссылки  из start_urls у меня получается куча страниц и как тогда лимиты устанавливать?
rtfm
источник
13:13пожаловаться#1

A

Alex in Scrapy
Stepan Smirnov
rtfm
умный сильно?
источник
13:13пожаловаться#2

МС

Михаил Синегубов... in Scrapy
ну, DEPTH_LIMIT это ограничение "насколько глубоко" надо залезть.

ты хоть напиши, что именно ты хочешь получить, так то есть настройка ограничения количества результатов
источник
13:14пожаловаться#3

AR

Andrey Rahmatullin in Scrapy
или просто со страницы только первые N ссылок брать
источник
13:18пожаловаться#4

A

Alex in Scrapy
в рамках обучения придумал себе задачу)
спарсить себе все позиции с этого сайта
https://www.olx.ua/transport/avtomobili-iz-polshi/ -
вот код
https://pastebin.com/1C9ifay7
с первой страницы парсить получается, все ок
задача как пройтись по страницам дальше но все не нужны страницы их 500, а с возможностью парсить 5, 10 страниц
источник
13:18пожаловаться#5

AR

Andrey Rahmatullin in Scrapy
ну вот моё последнее чем не решение (я просто тоже не понимаю что именно ограничивать надо)
источник
13:20пожаловаться#6

A

Alex in Scrapy
на странице 40 объявлений
в каждое объявление нужно зайти и взять данные
вот ограничивать страницы мне и надо)
источник
13:22пожаловаться#7

AR

Andrey Rahmatullin in Scrapy
которые? :))
источник
13:23пожаловаться#8

AR

Andrey Rahmatullin in Scrapy
тут всё - страницы
источник
13:23пожаловаться#9

AR

Andrey Rahmatullin in Scrapy
страницы которые по 40 объявлений на каждой?
источник
13:23пожаловаться#10

A

Alex in Scrapy
да)
источник
13:23пожаловаться#11

AR

Andrey Rahmatullin in Scrapy
ну так листай их пока не пролистаешь N
источник
13:23пожаловаться#12

AR

Andrey Rahmatullin in Scrapy
посмотрел сайт, там только первые 13 страниц видно сходу
источник
13:24пожаловаться#13

A

Alex in Scrapy
я так и думал как бы делать)
но вот увидел DEPTH_LIMIT' - и завис на этом, зато понял)
источник
13:24пожаловаться#14

AR

Andrey Rahmatullin in Scrapy
если тебе надо меньше, то изи, а если больше, то ссылки на следующие страницы надо доставать с предыдущих, а не с первой
источник
13:25пожаловаться#15

AR

Andrey Rahmatullin in Scrapy
DEPTH_LIMIT тут конечно не нужен
источник
13:25пожаловаться#16

A

Alex in Scrapy
Andrey Rahmatullin
посмотрел сайт, там только первые 13 страниц видно сходу
да там только номер менять и можно по ним ходить ?page=1
источник
13:25пожаловаться#17

AR

Andrey Rahmatullin in Scrapy
тогда сгенерь ссылки на первые N, ты же знаешь N
источник
13:25пожаловаться#18

A

Alex in Scrapy
понял, всем спасибо)
источник
13:26пожаловаться#19

i

ildar in Scrapy
Ха, помнится ко мне подкатили с предложением попарсить сайт беркли с лимитом 8 по домену и на 1 линк "наружу". Где-то на втором миллионе страниц я начал что-то подозревать ^_^
источник
13:36пожаловаться#20