SS
А пайп уже обрабатывает и раскладывает по местам?
Size: a a a
2020 July 30
МС
ну да
МС
пайп пишет в базу.
МС
а, вспомнил, у меня все пауки в один лог пишут - там каша была, если все пауки одновременно работали :)
SS
Надо про них почитать
SS
а, вспомнил, у меня все пауки в один лог пишут - там каша была, если все пауки одновременно работали :)
А автозапуск как лучше делать?
МС
А автозапуск как лучше делать?
в смысле?
SS
Ну, чтобы регулярно было? Тупо стартовый скрипт в крон?
SS
Я когда из внешнего файла запускать пауков пытался у меня какаято проблема с реактором твистера была. Первый раз норм отрабатывал, а на втором уходил в ошибку
МС
Ну, чтобы регулярно было? Тупо стартовый скрипт в крон?
как вариант - можно, либо scrapy-do (вроде так называется), либо вебморды сами позволяют настроить,
V
Ну, чтобы регулярно было? Тупо стартовый скрипт в крон?
Scrapinghub?
МС
Scrapinghub?
😂
V
Что не так?)😅
SS
МС
Что не так?)😅
ничего, кроме того, что прям суровый проект на халяву (а мы конечно ее любим) не захостишь :))
SS
Скрейпи ду гуд, буду смотреть) Спасибо)
SS
как вариант - можно, либо scrapy-do (вроде так называется), либо вебморды сами позволяют настроить,
Вебморды это типа scrapydweb или spiderkeeper?
МС
угу
SS
Ты ими пользовался? Какую порекомендуешь?
МС
неа, у меня там нечего хостить :)))