A
Size: a a a
2020 May 22
AR
не будет же он врать
B
вроде все ок) я ожидал что после 10 страницы сразу закончит работу
значит нужно последовательно обрабатывать пагинацию
A
значит нужно последовательно обрабатывать пагинацию
проверка на пустой список делается на каждом запросе
def _content_checker(self, content):
if len(content) == 0:
raise CloseSpider('No more pages with contents!')
def parse(self, response):
tags = set(response.xpath('//a[@class="tag"]//text()').getall())
authors = set(response.xpath('//small[@class="author"]//text()').getall())
text = response.xpath('//div[@class="col-md-8"]//span[@class="text"]//text()').getall()
QuotesSpider._content_checker(self, authors)
QuotesSpider._tags_parse(self, tags)
QuotesSpider._authors_parse(self, authors)
QuotesSpider._text_parse(self, text)
with open('tags.txt', 'w') as f:
f.write(str(QuotesSpider.result))D
попробуй курлом то же самое
курлом работает
AR
курлом работает
с тем же енвваром?
AR
в общем это норма)) и все ок?
да, CloseSpider не останавливает мгновенно
A
да, CloseSpider не останавливает мгновенно
спасибо!
D
AR
эм, это не использует енввар
AR
я предлагал без -x
D
AR
нухз, смотреть надо
AR
начни с вайршарка
A
еще такой вопрос
можно кинуть сюда своего паука?
хотел бы услышать мнения профи) я совсем новичок как в питоне, так и в скрапи)
может я принципиальные ошибки сделал и вообще хрень полная)
https://pastebin.com/8UFuyf2j - ссылка на паучка, пример из доков скрапи
спасибо)
можно кинуть сюда своего паука?
хотел бы услышать мнения профи) я совсем новичок как в питоне, так и в скрапи)
может я принципиальные ошибки сделал и вообще хрень полная)
https://pastebin.com/8UFuyf2j - ссылка на паучка, пример из доков скрапи
спасибо)
AR
жесть
AR
зачем манипуляции с self.urls? почему результаты пишутся в атрибут класса паука?
AR
методы в питоне вызываются через self