VB
и ты среднее время на запрос как считал?
download_latency
self.latency_stats.append(response.meta.get('download_latency'))Size: a a a
2020 April 16
VB
это в parse
VB
send_message(f'Success requests - {len(self.latency_stats)}\n'
f'Min latency - {min(self.latency_stats)} s.\n'
f'Max latency - {max(self.latency_stats)} s.\n'
f'Average latency - {sum(self.latency_stats) / len(self.latency_stats)} s.\n'
f'Summary latency - {sum(self.latency_stats)} s.')
а это результат в closedVB
и ты среднее время на запрос как считал?
Есть хотя-бы идеи почему так может быть?
VB
Вот я вообще не понимаю в чём я ошибаюсь. У меня на 1 запрос в среднем уходит 15 секунд. При идеальных условиях за минуту я должен с 1 рекурентным запросом получить 4 страницы, с 40 - 160 верно? Но я получаю максимум 40
И насколько это правильно?
AR
хз, смотреть надо
AR
может там нет 40 готовых урлов в каждый момент времени, потому что логика последовательная
VB
может там нет 40 готовых урлов в каждый момент времени, потому что логика последовательная
Они изначально есть
AR
из start_requests что ли?
VB
Да
VB
for url in self.start_url:
AR
ну так start_requests не так процессится, как коллбэки
AR
перетащи это всё в parse для начала
VB
def start_requests(self):типо это вынести в отдельную функцию?
for url in self.start_url:
yield scrapy.Request(url)
VB
А потом
def start_requests(self):
yield self.custom_start_requests()