S
есть товары под тегом 'div' с классом "item" или "item more", я их перебираю просто по class_ = "item", как исключить класс 'item empty' чет я тормоз сегодня
Size: a a a
2020 December 20
AR
Классы через contains неправильно
AP
Спасибо, кое как через костыли разобрался сам )
S
Классы через contains неправильно
это что нагуглил за 30 сек)
DO
Ребят, опять я с вопросом.
Расскажите, как вы деплоите свои спайдеры в свои продакшены? Я видел, что есть опенсорсный https://github.com/my8100/scrapydwebscrapydweb. Вы все его используете?
Что мне надо:
Чтобы спайдеры запускались периодически, чтобы собирались логи, чтобы с Selenium дружили (как, кстати, лучше всего в проде дружить? Кластеер из браузеров?), чтобы клали результаты в бд (уже есть middleware), чтобы можно было запустить с параметрами.
Расскажите, как вы деплоите свои спайдеры в свои продакшены? Я видел, что есть опенсорсный https://github.com/my8100/scrapydwebscrapydweb. Вы все его используете?
Что мне надо:
Чтобы спайдеры запускались периодически, чтобы собирались логи, чтобы с Selenium дружили (как, кстати, лучше всего в проде дружить? Кластеер из браузеров?), чтобы клали результаты в бд (уже есть middleware), чтобы можно было запустить с параметрами.
К
Ребят, опять я с вопросом.
Расскажите, как вы деплоите свои спайдеры в свои продакшены? Я видел, что есть опенсорсный https://github.com/my8100/scrapydwebscrapydweb. Вы все его используете?
Что мне надо:
Чтобы спайдеры запускались периодически, чтобы собирались логи, чтобы с Selenium дружили (как, кстати, лучше всего в проде дружить? Кластеер из браузеров?), чтобы клали результаты в бд (уже есть middleware), чтобы можно было запустить с параметрами.
Расскажите, как вы деплоите свои спайдеры в свои продакшены? Я видел, что есть опенсорсный https://github.com/my8100/scrapydwebscrapydweb. Вы все его используете?
Что мне надо:
Чтобы спайдеры запускались периодически, чтобы собирались логи, чтобы с Selenium дружили (как, кстати, лучше всего в проде дружить? Кластеер из браузеров?), чтобы клали результаты в бд (уже есть middleware), чтобы можно было запустить с параметрами.
scrapydweb нормальный вариант, есть ещё scrapy-do
К
Ребят, опять я с вопросом.
Расскажите, как вы деплоите свои спайдеры в свои продакшены? Я видел, что есть опенсорсный https://github.com/my8100/scrapydwebscrapydweb. Вы все его используете?
Что мне надо:
Чтобы спайдеры запускались периодически, чтобы собирались логи, чтобы с Selenium дружили (как, кстати, лучше всего в проде дружить? Кластеер из браузеров?), чтобы клали результаты в бд (уже есть middleware), чтобы можно было запустить с параметрами.
Расскажите, как вы деплоите свои спайдеры в свои продакшены? Я видел, что есть опенсорсный https://github.com/my8100/scrapydwebscrapydweb. Вы все его используете?
Что мне надо:
Чтобы спайдеры запускались периодически, чтобы собирались логи, чтобы с Selenium дружили (как, кстати, лучше всего в проде дружить? Кластеер из браузеров?), чтобы клали результаты в бд (уже есть middleware), чтобы можно было запустить с параметрами.
Ну и конечно scrapinghub, там всё удобно, но платить нужно
DO
scrapydweb нормальный вариант, есть ещё scrapy-do
личный вопрос: чем конкретно ты пользуешься? Просто разные варианты я тоже нагуглил)
DO
спасибо
A
Скрейпид, скрепийхаб, самопис + крон
A
кто знает deathbycaptcha есть какой то промод код ? а то на 10$ впадло пополнять если не покатит
DO
А подскажите еще, пожалуйста. Вот я парсю сайт, а он стал выдавать пустые страницы. Ответ 200, но данных нет. Я хочу, чтобы спайдер, как только такое вот случилось, останавливался - и дальше не парсил. Как лучше всего это сделать? Нужно какой-нибудь эксепшн специальный выкинуть?
A
А подскажите еще, пожалуйста. Вот я парсю сайт, а он стал выдавать пустые страницы. Ответ 200, но данных нет. Я хочу, чтобы спайдер, как только такое вот случилось, останавливался - и дальше не парсил. Как лучше всего это сделать? Нужно какой-нибудь эксепшн специальный выкинуть?
проверь страницу на результат
DO
Andrii
проверь страницу на результат
не понял. Что это значит?
A
нет твого хпатча, клоус спайдер
DO
Andrii
нет твого хпатча, клоус спайдер
Спасибо. А как это сделать?
A
Спасибо. А как это сделать?
DO
по, то, что нужно. спасибо еще раз