не забывай еще, что ты можешь в коллбеке вызывать ту же функцию, из которой его вызываешь. Это удобно для обхода той же пагинации. Вот для примера - parse_pages собирает все линки и передает дальше "вниз" в parse_product, и параллельно вызывает сам себя же, со ссылкой на пагинаторы (и дальше в этой же функции опять соберутся все товары и опять возмутся все пагинаторы и т.д. - плюс можно не заморачиваться с отбросом дубликатных ссылок, это за нас делает dupefilter).
https://i.imgur.com/geP64cK.png

:= не обязателен, я просто помечаю по чему прохожу, можно написать
yield from response.follow_all(response.css('.pagination.catalog-list__pagination').getall(), self.parse_pages)

а шо так, думаешь надо таки все рулесами и CrawlSpider? оно даст к примеру на этом случае выгоду по строкам?

Или там если что-то переписывать в будущем - оно понятней может быть и легче?

Или фоллоу или еще лучше CrawlSpider

ЗЫ кстати attr(href) емнип не надо - follow сам  по-стандарту ищет <a href

скажем так, оно не "по стандарту" а просто смотрит что у него пришло, селектор или строка(и)

да тут и := не надо

переменные которые нигде не используются

да, и не в питоне 3.8 это не заработает

ну это я так просто для себя помечаю по чему прохожу

а если есть какой-то метод лучше буду признателен. меня тоже немного коробит что она "серым" в пичарме горит)

комментарии?)

комментарий - лишняя строка. или справа. ну наверн справа можно. но что шифт-решетку нажать и пробел, что шифт-двоеточие и равно. плюс на чтении сильно справа

короче, размышление века, буду думать, дня три, как лучше)

из меня херовый программист и не знаю будет ли вообще питон хранить в памяти то что не используется, но выглядит как лишнее место в оперативке

типа эта часть считается генератором? response.css('.pagination.catalog-list__pagination ::attr(href)').getall()

надо почитать будет подробней про := или затестить как-то

нет, getall() возвращает лист

(не знаю что такое "считается генератором")

ну ты правильно понял что я имел в виду)