Телеграмм чат группы scrapy

item pipeline всё-таки

В FilesPipeline можно как-то передать в errorback/поймать в какой-то другой функции
'retry/reason_count/twisted.internet.error.ConnectionRefusedError,
'retry/reason_count/twisted.internet.error.DNSLookupError',
'retry/reason_count/twisted.internet.error.TCPTimedOutError'
?
Или для нужно переписывать retry middleware?

Чтоб ошибка дошла в errback пайплайна, нужно чтоб никакой миделвер её не перехватывал и не обрабатывал

15:39пожаловаться #2

errback пайплайна?

15:41пожаловаться #3

Кирилл in Scrapy

это же медиа пайплайн, он там через engine шлет запросы и цепляет media_downloaded и media_failed к дэфэрэду

15:42пожаловаться #4

так то медиа

15:42пожаловаться #5

но я вопроса вообще не понял

15:42пожаловаться #6

Кирилл in Scrapy

Я так понял, что нужно перечисленные исключения обрабатывать в media_failed

15:43пожаловаться #7

ага, тогда да

15:43пожаловаться #8

Кирилл

Я так понял, что нужно перечисленные исключения обрабатывать в media_failed

Привет!

18:14пожаловаться #9

Scrapy middleware to handle javascript pages using selenium - clemfromspace/scrapy-selenium

Парни, подскажите плиз, как настроить https://github.com/clemfromspace/scrapy-selenium
такая проблема, что scrapy не хочет ни как подключаться к remote селениуму и говорит:

WARNING: Disabled SeleniumMiddleware: SELENIUM_DRIVER_NAME and SELENIUM_DRIVER_EXECUTABLE_PATH must be set

дело в том, что я выставляю настройки

SELENIUM_DRIVER_NAME = 'chrome'
SELENIUM_COMMAND_EXECUTOR = 'http://127.0.0.1:4444/wd/hub'
SELENIUM_DRIVER_ARGUMENTS = ['--headless']

как он хочет, но без результата

GitHub

clemfromspace/scrapy-selenium

18:16пожаловаться #10

не там выставляешь, возможно

18:17пожаловаться #11

не там выставляешь, возможно

интересно, а где еще можно выставить кроме как в settings.py?

18:18пожаловаться #12

🤷‍♂️

18:18пожаловаться #13

а, ты про SELENIUM_DRIVER_EXECUTABLE_PATH забыл

18:18пожаловаться #14

а, ты про SELENIUM_DRIVER_EXECUTABLE_PATH забыл

так зачем он мне, если я remote использую

18:18пожаловаться #15

ну нет так нет

18:18пожаловаться #16

ну нет так нет

))

18:19пожаловаться #17

ну нет так нет

ты пытался, спасибо

18:19пожаловаться #18

пытался что? я указал почему такая ошибка

18:19пожаловаться #19

пытался что? я указал почему такая ошибка

ок, что нужно установить в SELENIUM_DRIVER_EXECUTABLE_PATH если я использую в докере standalone chrome?