Size: a a a

2020 July 16

К

Кирилл in Scrapy
Ну и ещё spidermon такое сам делает для некоторых целей https://spidermon.readthedocs.io/en/latest/howto/stats-collection.html
источник

t

tfhx8 in Scrapy
делаю scrapy crawl name, и почему то вызывается другой файл, почему так?
источник

V

Viktor in Scrapy
tfhx8
делаю scrapy crawl name, и почему то вызывается другой файл, почему так?
Код покажи
источник

К

Кирилл in Scrapy
Скорее всего у тебя несколько пауков с одинаковым именем. Или где-то не то имя. Оно ищет по аттрибуту паука name
источник

t

tfhx8 in Scrapy
Кирилл
Скорее всего у тебя несколько пауков с одинаковым именем. Или где-то не то имя. Оно ищет по аттрибуту паука name
так и было, я переименовал, но все равно. Может где закешировалось?
источник

К

Кирилл in Scrapy
Нет, оно не кешируется. Внимательно проверь, где-то ошибка
источник

AR

Andrey Rahmatullin in Scrapy
tfhx8
так и было, я переименовал, но все равно. Может где закешировалось?
файл или паука переименовал?
источник

t

tfhx8 in Scrapy
паука
источник

t

tfhx8 in Scrapy
в свойстве name
источник

t

tfhx8 in Scrapy
а скрапи по умолчанию рандом юзерагенты не подставляет?
источник

К

Кирилл in Scrapy
нет
источник

К

Кирилл in Scrapy
у скрапи свой дефолтный юзерагент
источник

t

tfhx8 in Scrapy
а вы какие чаще всего настройки в settings задаете? Можете скинуть ваш конфиг?
источник

К

Кирилл in Scrapy
тут нет правильно ответа, какие нужно для конкретного сайта такие и задаю)
источник

t

tfhx8 in Scrapy
как то можно задавать свой settings.py для конкретного спайдера?
источник

AR

Andrey Rahmatullin in Scrapy
пиши сеттингсы в custom_settings
источник

AS

Alexander Serebrov in Scrapy
Кирилл
Нет, оно не кешируется. Внимательно проверь, где-то ошибка
кешируется же 😅 надо *.pyc Файлы удалить и все будет ок)
источник

t

tfhx8 in Scrapy
Alexander Serebrov
кешируется же 😅 надо *.pyc Файлы удалить и все будет ок)
в общем стояло ipdb в классе другого файла и оно всегда останавливалось. По всей видимости скрапи все файл обходит
источник

AS

Alexander Serebrov in Scrapy
На всякий случай (линукс)

find -name "*.pyc" -delete
источник

AS

Alexander Serebrov in Scrapy
tfhx8
в общем стояло ipdb в классе другого файла и оно всегда останавливалось. По всей видимости скрапи все файл обходит
Разве что это был какой-то мидлварь, тогда возможно, что в нем останавливалось
источник