A
Зачем?
Size: a a a
2020 July 23
💀Ҁ
Andrii
Зачем?
ну а как?
1. собираю линки с одной страницы
2. прохожусь по пагинации по всем страницам и делаю 1.
3. на каждой страницы граблю инфу
1. собираю линки с одной страницы
2. прохожусь по пагинации по всем страницам и делаю 1.
3. на каждой страницы граблю инфу
💀Ҁ
я просто хз как "правильно" это реализовать в scrapy
на bs бы сделал без всякого
на bs бы сделал без всякого
A
ну а как?
1. собираю линки с одной страницы
2. прохожусь по пагинации по всем страницам и делаю 1.
3. на каждой страницы граблю инфу
1. собираю линки с одной страницы
2. прохожусь по пагинации по всем страницам и делаю 1.
3. на каждой страницы граблю инфу
Нарисуй на бумаге :)
A
ну а как?
1. собираю линки с одной страницы
2. прохожусь по пагинации по всем страницам и делаю 1.
3. на каждой страницы граблю инфу
1. собираю линки с одной страницы
2. прохожусь по пагинации по всем страницам и делаю 1.
3. на каждой страницы граблю инфу
def parse(self, response):
links = response.xpath("//@href").getall()
for link in links:
yield scrapy.Request(url=link , callback=self.parse_links)
def parse_links(self, response):
articles = response.xpath("//@href").getall()
for link in links:
yield scrapy.Request(url=link , callback=self.parse_data)
pagination...
yield scrapy.Request(url=next_page , callback=self.parse_links)
def parse_data(self, response)
data ...
A
на вскидку
💀Ҁ
спасибо
A
На бумаге схему нарисуй и все будет ясно - что с чим взаимодействует
V
Andrii
def parse(self, response):
links = response.xpath("//@href").getall()
for link in links:
yield scrapy.Request(url=link , callback=self.parse_links)
def parse_links(self, response):
articles = response.xpath("//@href").getall()
for link in links:
yield scrapy.Request(url=link , callback=self.parse_data)
pagination...
yield scrapy.Request(url=next_page , callback=self.parse_links)
def parse_data(self, response)
data ...
Лучше уже CrawlSpider
A
Andrii
def parse(self, response):
links = response.xpath("//@href").getall()
for link in links:
yield scrapy.Request(url=link , callback=self.parse_links)
def parse_links(self, response):
articles = response.xpath("//@href").getall()
for link in links:
yield scrapy.Request(url=link , callback=self.parse_data)
pagination...
yield scrapy.Request(url=next_page , callback=self.parse_links)
def parse_data(self, response)
data ...
может есть лучше конешно способ, ... и более пайтоник, но...)
💀Ҁ
Andrii
может есть лучше конешно способ, ... и более пайтоник, но...)
та это вроде как раз в стили scrapy
AR
да нормально
AR
ну, щас можно (и следовательно нужно) делать
yield from response.follow_all()AR
если Кирилл про CrawlSpider, то я его терпеть не могу
A
ну, щас можно (и следовательно нужно) делать
yield from response.follow_all()Вот читал, но еще не делал...надо будет попробовать