рисовал , я не знаю почему мне проходится циклом

а в какой нотации рекомендуете рисовать?

Что б понять что с чем и когда взаимодействует

Не помню спрашивал тут или нет. Есть сайт с товарами. Есть паук с двумя функциями parse. Первая собирает данные со списка, вторая проходит по ссылке и собирает в карточке товара. Есть пайплайн в Mysql базу через sqlalchemy. Задача состоит в том, чтобы при каждодневном скрапинге минимизировать свое присутствие на сайте. Проверить изменился ли товар можно и на странице со списком. Нужно как то как то проверить есть ли такой урл в базе и не изменились ли у него параметры. Вопрос в какой части прописывать данный функционал ? И как его правильней реализовать ?

соответственно если параметры не изменились, то дропаем итем и идем к следующему , если изменились, то проходим по ссылке и продолжаем парсить

Мидлварь, process_request

лучше подскажи как завернуть правильно)0))

чуть чуть подробнее пожалуйста, строчки три четыре хотяб

Увы

так кто-то можете подсказать как завернуть в цикл следующий код?
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
page.click()

😹

while True:
            try:
  driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
  page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
  page.click()
            except Exception:
                break

жесть))

Норм

Только не вставляй в ide)

я в pycharm

while True:
            try:
  driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
  page = driver.find_element_by_css_selector("a[class='c-pagination__link js-pagination-link ']")
  page.click()
            except Exception:
                break

скрипт заканчивает работать на второй странице снизу

А пайчарм не ide?)

а да, сори

тогда почему?