G
Size: a a a
2020 June 09
2020 June 10
SS
ок. как заработаешь на яхту. не забудь пригласить. помни это мы тебе разрешили парсить 😉
это кстати ограниченно используемый подход при автоматическом трейдинге
A
Интересно было почитать)
Пока как я понял в общем можно)
Тот же сайт jooble, это же агрегатор. Может конечно и соглашения у них с сайтами есть но чет врядли)
Кстати, я как то задавал вопрос по поводу парсинга под агрецию.
Но мне ответили - один сайт - один паук.
А если парсить надо много сайтов, как тогда структура будет выглядеть?
Типа:
пауки под каждый сайт и запуск по расписанию, крон как вариант.
Пока как я понял в общем можно)
Тот же сайт jooble, это же агрегатор. Может конечно и соглашения у них с сайтами есть но чет врядли)
Кстати, я как то задавал вопрос по поводу парсинга под агрецию.
Но мне ответили - один сайт - один паук.
А если парсить надо много сайтов, как тогда структура будет выглядеть?
Типа:
пауки под каждый сайт и запуск по расписанию, крон как вариант.
D
Интересно было почитать)
Пока как я понял в общем можно)
Тот же сайт jooble, это же агрегатор. Может конечно и соглашения у них с сайтами есть но чет врядли)
Кстати, я как то задавал вопрос по поводу парсинга под агрецию.
Но мне ответили - один сайт - один паук.
А если парсить надо много сайтов, как тогда структура будет выглядеть?
Типа:
пауки под каждый сайт и запуск по расписанию, крон как вариант.
Пока как я понял в общем можно)
Тот же сайт jooble, это же агрегатор. Может конечно и соглашения у них с сайтами есть но чет врядли)
Кстати, я как то задавал вопрос по поводу парсинга под агрецию.
Но мне ответили - один сайт - один паук.
А если парсить надо много сайтов, как тогда структура будет выглядеть?
Типа:
пауки под каждый сайт и запуск по расписанию, крон как вариант.
Но мне ответили - один сайт - один паук.
– ну да. а в чем проблема?
пауки под каждый сайт и запуск по расписанию, крон как вариант.
– ну да, посмотри scrapyd
– ну да. а в чем проблема?
пауки под каждый сайт и запуск по расписанию, крон как вариант.
– ну да, посмотри scrapyd
AR
и Scrapy Cloud :)
AR
отдельная большая проблема будет со сведением данных от разных джобов и разных пауков вместе, это уже отдельно от скрапи придётся делать
AR
(можно тупо сунуть в базу например)
SS
и Scrapy Cloud :)
у вас ip динамический
AR
это хорошо или плохо?
SS
для меня плохо
AR
почему?
SS
прокси провайдеры многие отваливаются
OS
def spider_opened(self, spider):Не работает, берёт в Request один чёрт настройку из settings.py, что сделал не так?
spider.logger.info('Spider opened: %s' % spider.name)
spider.custom_settings = {'USER_AGENT': 'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36'}
(этот код в мидлваре)
✏d
AR
def spider_opened(self, spider):Не работает, берёт в Request один чёрт настройку из settings.py, что сделал не так?
spider.logger.info('Spider opened: %s' % spider.name)
spider.custom_settings = {'USER_AGENT': 'Mozilla/5.0 (Windows NT 6.2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1467.0 Safari/537.36'}
(этот код в мидлваре)
я думаю к этому времени объект сеттингс уже создался и custom_settings парсить некому
AR
закомментировать его использование
✏d
Could not open CONNECT tunnel with proxy
✏d
закомментировать его использование
в результате
AR
значит надо закомментировать больше кода