М
Size: a a a
2021 January 21
СК
Здравствуйте! Господа, подскажите, пожалуйста, можно ли как-то в Scrapy получать все коды с которыми вернулись запросы? Я понимаю, что есть Stats Collection, но он статистику выдаст только в конце работы спайдера. А можно ли получать ее (для последующей отправки, например в очередь) прямо во время выполнения?
СК
В теории, под такую задачу подходит download middleware
К
Здравствуйте! Господа, подскажите, пожалуйста, можно ли как-то в Scrapy получать все коды с которыми вернулись запросы? Я понимаю, что есть Stats Collection, но он статистику выдаст только в конце работы спайдера. А можно ли получать ее (для последующей отправки, например в очередь) прямо во время выполнения?
Можно, почитай доку по статс
СК
а... в принципе можно перед добавление значения в stats отправлять сообщение куда мне надо
СК
спасибо
МС
хм, а разве паук в конце не отдает ВСЕ прилетевшие коды? по крайней мере, у меня, всегда так было...
или надо в какое то другое место получить?
или надо в какое то другое место получить?
AR
Написано ж что в конце поздно
AR
а... в принципе можно перед добавление значения в stats отправлять сообщение куда мне надо
Не понял о чем это, предложили читать статс
i
Буду использовать только я, и база порядка около 10к
excel шибко умный, в нем надо осторожно данные хранить. Ученым вон пришлось белки переименовывать даже из-за этого. А еще он часто числа как даты или время воспринимает. И нули отбрасывает в начале. Лучше сразу бд, к примеру postgres - из плюсов там еще нативная она для джанго, в будущем проще будет. Либу рекомендую dataset, с ней рабоа с любой базой очень легкая, особенно с транзакциями работать как с with. https://dataset.readthedocs.io/en/latest/
AR
эксель ещё и читать/писать нетривиально из программ, нахрен надо это всё
S
excel шибко умный, в нем надо осторожно данные хранить. Ученым вон пришлось белки переименовывать даже из-за этого. А еще он часто числа как даты или время воспринимает. И нули отбрасывает в начале. Лучше сразу бд, к примеру postgres - из плюсов там еще нативная она для джанго, в будущем проще будет. Либу рекомендую dataset, с ней рабоа с любой базой очень легкая, особенно с транзакциями работать как с with. https://dataset.readthedocs.io/en/latest/
Да сталкивался с этим в excel кстати, да мне посоветовали postgress, вот начну изучение уже на днях спасибо
DO
Расскижите, пожалуйста, как вы запускаете скрапи в продакшене? Когда, например, вам нужно периодически что-то парсить.
Лично я хотел его встроить в ETL Airflow, вдруг кто знает, как это лучше всего (особенно, когда есть селениумы)
Лично я хотел его встроить в ETL Airflow, вдруг кто знает, как это лучше всего (особенно, когда есть селениумы)
i
Расскижите, пожалуйста, как вы запускаете скрапи в продакшене? Когда, например, вам нужно периодически что-то парсить.
Лично я хотел его встроить в ETL Airflow, вдруг кто знает, как это лучше всего (особенно, когда есть селениумы)
Лично я хотел его встроить в ETL Airflow, вдруг кто знает, как это лучше всего (особенно, когда есть селениумы)
я тоже собираюсь это делать на airflow. Если вдруг шо появится - пиши!