AR
страницы надо перебирать парсингом, а не дописыванием номера в урл
scrapy crawl spidername.py -o file.csv -t csvSize: a a a
2020 May 22
B
+ запись в файл
AR
что в методах _*_parse я честно говоря не понял, наверняка это всё делается гораздо проще
AR
а, и красиво конечно сделано перезаписывание результата
AR
т.е. мы храним всё всегда и на каждом проходе пишем всё целиком, перезаписывая файл
A
т.е. мы храним всё всегда и на каждом проходе пишем всё целиком, перезаписывая файл
согласен, не совсем правильно)
SS
Вопрос: как рекомендуется рендерить JS с сервера? Docker+Splash? Или есть что то более простое/подходящее?
AR
рекомендуется его не рендерить
AR
если сильно надо - сплеш, если сплеш не справляется - доставать нормальные хедлесс браузеры
VB
def start_requests(self):
return self.parse(None)
def parse(self, response):
if self.start_urls:
for url in self.start_urls_:
Если такая логика обработки, очередь не будет поломанной?VB
У меня вместе с урлом идёт дополнительная инфа к нему
VB
Я не могу просто список урлов задать
AR
зачем называть это parse если это не коллбэк
AR
ну и конечно это ничем не отличается от пихания этого в start_requests напрямую
AR
start_urls кстати необязательно переименовывать
VB
Как мне тогда провернуть?
AR
перечитать что я писал, там написано