П
Size: a a a
2021 February 14
П
И еще немного непонятно. у меня при команде scrapy genspider генерируется пакет, внутри которого еще пакет. Вот когда я на винде работаю импорты формата
from hh_parser.distionaries.dictionary import * работают отлично, а scrapyd ругается на родительский пакет. Т.е. мне перед деплоем необходимо дописать
from hh_parser.hh_parser.distionaries.dictionary import *
from hh_parser.distionaries.dictionary import * работают отлично, а scrapyd ругается на родительский пакет. Т.е. мне перед деплоем необходимо дописать
from hh_parser.hh_parser.distionaries.dictionary import *
AR
не понял что именно
AR
что в топлевел каталоге лежит scrapy.cfg и пакет с проектом? ну вот так вот
AR
топлевел каталог в общем-то не пакет
H
I prefer
AUTOTHROTTLE_ENABLED = True and usually AUTOTHROTTLE_START_DELAY = 1Thanks for inputs. :)
I used to put 4-5 as download delay usually. And if site is super sensitive, 1 concurrent request.
I've hit a site which is giving 429 (cloud flare based). So will try auto throttle, crawlera probably
I used to put 4-5 as download delay usually. And if site is super sensitive, 1 concurrent request.
I've hit a site which is giving 429 (cloud flare based). So will try auto throttle, crawlera probably