DO
не, ну в код DAG'ов Airflow можно конечно положить код scrapy и запускать через обычный PythonExecutor, но чем-то мне этот подход не нравится.
Size: a a a
2021 January 21
DO
Можно запустить scrapy в режиме вебсервиса с Rest API, по которому он получит параметры для парсинга, а вернет потом полотно с json?
AR
ScrapyRT
DO
ScrapyRT
спасибо) он же нормально отрабатывает, когда нужно запустить Селениум тоже?
AR
без понятия
R
А кто-нибудь использовал https://github.com/aerokube/selenoid в связке с скрапи?
а вопрос какой?
DO
а вопрос какой?
вопрос, насколько выгоднее его использовать в сравнении с scrapy-selenium? То есть стоит ли заморочиться настроить, чтобы потом кайфовать, или кайфов не будет
DO
если делаешь продакшн решение - то конечно стоит
во! Спасибо!
А я использую немного переделанный вебдрайвер, из которого выннули все палевные кусочки. Возможно ли в solenoid запихнуть свой файлик вебдрайвера? Или там только стандартные
А я использую немного переделанный вебдрайвер, из которого выннули все палевные кусочки. Возможно ли в solenoid запихнуть свой файлик вебдрайвера? Или там только стандартные
i
А кто-нибудь использовал https://github.com/aerokube/selenoid в связке с скрапи?
поищи по чату. кто-то тут его не раз рекламировал емнип.