i
Код мой. Пришла в голову мысль и решил попробовать.
Так то линки обрабатываются по очереди, верно?
Так то линки обрабатываются по очереди, верно?
на вот те, просвещайсо: https://docs.scrapy.org/en/latest/topics/architecture.html
Size: a a a
2020 July 06
SS
Да и скрапи сам по себе "асинхронный", да не сильно, грубо говоря, только то, что касается запросов
а практический смысл добавлять асинхронность в остальные этапы парсинга есть?
AR
никакого особого "пула твистеда" нет, скрапи отправляет запросы и ждёт ответы, сколько запросов ждёт ответа считается чтобы понять можно ли делать ещё
AR
указанная страница как раз про это
AR
когда у вас селениум, скрапи конечно никаких запросов через твистед не отправляет
AR
ну механика про "сбросить хттп-объект в уровень ниже и ждать когда от сервера ответ придёт" это в твистеде
A
когда у вас селениум, скрапи конечно никаких запросов через твистед не отправляет
отправил запрос
как ты говоришь он ждет ответа, а в каком виде он ждет ответ?
нельзя ли после отправки дать ответ и скрапи отправит новый запрос?)
def parse(self, response)
и скрапи не важно как этот запрос обрабатывается как ты говоришь он ждет ответа, а в каком виде он ждет ответ?
нельзя ли после отправки дать ответ и скрапи отправит новый запрос?)
AR
def parse(self, response) это не запрос
AR
про остальное не понял
AR
Переслано от Andrey Rahmatullin
когда у вас селениум, скрапи конечно никаких запросов через твистед не отправляет
AR
можно и так сказать, смотря что вкладывать в это понятие
AR
эта строчка ничего на сервер не шлёт
AR
да