К
кешируется же 😅 надо *.pyc Файлы удалить и все будет ок)
Так если исходники поменяются, pyc тоже перекомпилируется
Size: a a a
2020 July 16
AR
скрапи импортирует всё из spiders на старте
AS
Так если исходники поменяются, pyc тоже перекомпилируется
Если питон не знает, что они поменялись, то наверное нет)
Обычно бывает в ситуации: стянул свежий мастер, а там было переименование паука и запускается не то, что надо
Обычно бывает в ситуации: стянул свежий мастер, а там было переименование паука и запускается не то, что надо
t
скрапи импортирует всё из spiders на старте
да, поэтому у меня происходила остановка в другом спайдере, хотя в запуске укказывал другой
t
пиши сеттингсы в custom_settings
внутри просто можно ка кто сделать как import mysettings?
AR
нет
AR
settings.py вообще не "для паука"
МП
Добрый день. Нужен совет по скрапу с сингл пейджа. Пробовал scrapy-splash но не смог получить полностью загруженный html. То есть контетном страница не заполнилась. Через lua могу получить только статику. Пробовал splash:wait в скрипте - не помогло js все равно не заполняет страницу
МП
https://www.technodom.kz/ мой таргет если поможет
МП
Есть граф апи могу брать оттуда необходимую инфу но этот вариант на крайний случай. Поэтому буду благодарен любой помощи
МП
для нас наверное рест апи просто
МП
ломает общую логику проекта
МП
используется джано со списком сайтов с возможностью динамески юрл выбирать для парса и тд