A
Гугл?
Size: a a a
2020 July 06
A
A
Ребят еще раз про параллельную работу паука
в настройках я увеличиваю запросы
правильно понимаю или нет?
def start_requests(self):
urls = [
'http://quotes.toscrape.com/page/1/',
'http://quotes.toscrape.com/page/2/',
]
for url in urls:
yield scrapy.Request(url=url, callback=self.parse)
обрабатываются ссылки последовательно начиная с первой в настройках я увеличиваю запросы
CONCURRENT_REQUESTS = 2
DOWNLOAD_DELAY = 3
CONCURRENT_REQUESTS_PER_DOMAIN = 2
CONCURRENT_REQUESTS_PER_IP = 2
запросов стало больше но обрабатывается все еще 1-й линк и пока не обработается 1 линк ко второму паук не перейдетправильно понимаю или нет?
i
у тебя же паук вроде с селениум-драйвером, какой ты юзаешь, который с clemfromspace? может там какое-то ограничение на количество драйверов?
попробуй эти настройки закомментить или выставить их в 10 и посмотреть что тебе покажет auto throttle со стартом паука:
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 3
AUTOTHROTTLE_MAX_DELAY = 120
AUTOTHROTTLE_TARGET_CONCURRENCY = 2.0
AUTOTHROTTLE_DEBUG = True
попробуй эти настройки закомментить или выставить их в 10 и посмотреть что тебе покажет auto throttle со стартом паука:
AUTOTHROTTLE_ENABLED = True
AUTOTHROTTLE_START_DELAY = 3
AUTOTHROTTLE_MAX_DELAY = 120
AUTOTHROTTLE_TARGET_CONCURRENCY = 2.0
AUTOTHROTTLE_DEBUG = True
i
вообще там в иссьюсах пишут к примеру, что DOWNLOAD_DELAY не учитывается и предлагаются обходы. Мало ли что там еще не учитывается...
https://github.com/clemfromspace/scrapy-selenium/issues/36
https://github.com/clemfromspace/scrapy-selenium/issues/36
A
я не знаю правильно ли я сделал) из
https://pastebin.com/3AMjLNiq
init селениум вынес в функцию parse и теперь как я понимаю скрапи может запустить паралельно обработку линков, я пытаюсь так сделатьhttps://pastebin.com/3AMjLNiq
К
я не знаю правильно ли я сделал) из
https://pastebin.com/3AMjLNiq
init селениум вынес в функцию parse и теперь как я понимаю скрапи может запустить паралельно обработку линков, я пытаюсь так сделатьhttps://pastebin.com/3AMjLNiq
Большой код в pastebin.com
A
Большой код в pastebin.com
ок, понял
A
теперь как я думаю линк отдается
у меня получается если я так запускаю, выполняется по очереди
сначала обрабатывается первая ссылка, если прервать через CTRL+C начинается обработка второй ссылки
а я хочу что бы эти ссылки открывались паралельно если не одновременно то через какой то интервал
такое же возможно)
def parse(self, response) и эта функция запускает вебдрайвер и делает то что должнау меня получается если я так запускаю, выполняется по очереди
сначала обрабатывается первая ссылка, если прервать через CTRL+C начинается обработка второй ссылки
а я хочу что бы эти ссылки открывались паралельно если не одновременно то через какой то интервал
такое же возможно)