нет двух, одна только такая.

ничо не понял

ладно, пофигу, все равно уже по-другому сделал, убрал for

чот у меня всё кривое скорее всего выходит.

код нормально выглядит

выглядел

подскажите, плз, простую структуру, что-то я допереть не могу. У меня перед глазами есть календарь: типа вот такого: https://lj-maintenance.livejournal.com/calendar

Я хочу для начала составить JSON урлов всех постов за все годы. Соответственно, я собираю сначала все ссылки по годам:

response.xpath("//section[@class='j-l-alpha']//li/@href").extract()

Теперь, по логике мне надо собрать URL-ы всех месяцев и всех постов, которые в них. Я так понимаю, что мне надо создать ещё один спайдер, который будет запрашивать год/месяц а потом месяц/день для получения списка всех постов? Или как то по уму делается-то? В scrapebook вроде как понятно написано, но за полночи уже всё из головы выветрилось.

(на xpath не обращайте внимания, он для примера)

Нет, просто в коллбэке для лет собираешь месяцы и так далее

есть какая-то хрень с callback но я так и не понял как ей пользоваться, третий раз доку перечитываю

Ну вот зря не понял

Ты находишь ссылку и возвращаешь Request с этой ссылкой, когда он скачается, выполнится указанный в нём коллбэк

ясно. пойду посплю и на свежую голову попробую ещё раз

спс

ещё вопрос. а какие-то либы есть для scrapy/python позволяющие делать более приличный html из спарсенного? я имею в виду вырезание тегов, например, так, чтобы не трогались blockquote c твиттером, видео/ютубы и так далее. Это для каждого сервиса надо писать свой регексп или кто-то уже всё придумал и сделал?

Что касается реквеста. Я запутался. Вот пример из доки: https://github.com/scrapy/quotesbot/blob/master/quotesbot/spiders/toscrape-xpath.py

В какой момент выполняется next_page_url = response.xpath('//li[@class="next"]/a/@href').extract_first()?

в этом примере нет недефолтных коллбэков

когда кончился for()

да, когда кончился for,  а что?

блин, может вообще не заморачиваться, а чисто по хардкору прописать for 2012 to 2020 и подставлять в domain.com/{url}