Size: a a a

2021 January 20

S

S in Scrapy
Кирилл
Всё же лучше реляционную бд, потому что там есть некоторые ограничения которые направляют начинающих разработчиков в нужную сторону. В монге же больше свободы, которая может навредить. Бери postgresql и не ошибешься, точно ещё пригодиться
🙏 спасибо
источник

GB

Gleb B in Scrapy
S
🙏 спасибо
чувак, запустись с алхимией и скллайт, там гемора не больше, чем с with open()
источник

A

AstralRomance in Scrapy
А подскажите, как убедить scrapyrt не создавать мне файл лога для каджого запуска скрапера?
Вот это logging.getLogger('scrapy').setLevel(logging.WARNING) честно создает пустые файлы логов.
источник

AR

Andrey Rahmatullin in Scrapy
ну да, откуда ему знать что записей не будет
источник

A

AstralRomance in Scrapy
Andrey Rahmatullin
ну да, откуда ему знать что записей не будет
Вот я и спрашиваю.
источник

К

Кирилл in Scrapy
AstralRomance
А подскажите, как убедить scrapyrt не создавать мне файл лога для каджого запуска скрапера?
Вот это logging.getLogger('scrapy').setLevel(logging.WARNING) честно создает пустые файлы логов.
Пробовал задавать настройку LOG_ENABLED?
источник

A

AstralRomance in Scrapy
Кирилл
Пробовал задавать настройку LOG_ENABLED?
Так я хочу логи, но не всегда.
источник

AR

Andrey Rahmatullin in Scrapy
источник

A

AstralRomance in Scrapy
Спасибо.
источник

AR

Andrey Rahmatullin in Scrapy
запрос python logging don't create empty files
источник

A

Andrii in Scrapy
Hello, кто-то https://www.mediamarkt.de/ скрапил?
источник
2021 January 21

КО

Костя Остапенко... in Scrapy
Привет.
Кто-то использовал Scrapyd в связки с django
нашел одну статью в гугле, но она особо не помогла. Может у кого есть примеры или сталкивался подробным примером буду благодарен за любую информацию.
https://alioguzhan.medium.com/how-to-use-scrapy-with-django-application-c16fabd0e62e
источник

B

Bulatbulat48 in Scrapy
Костя Остапенко
Привет.
Кто-то использовал Scrapyd в связки с django
нашел одну статью в гугле, но она особо не помогла. Может у кого есть примеры или сталкивался подробным примером буду благодарен за любую информацию.
https://alioguzhan.medium.com/how-to-use-scrapy-with-django-application-c16fabd0e62e
В целом не понятно? Как я понял, если ты открываешь URL сайта(Джанго urls) то дальше идёт запуск scrapyd во вьюхе. При этом нужно сначала создать бд(Джанго модели) и настроить паука.
источник

S

SoHard 🎄 in Scrapy
когда-то спрашивали достаточно ли знать только скрапи для работы
источник

S

SoHard 🎄 in Scrapy
источник

S

SoHard 🎄 in Scrapy
не реклама я сам просматривал вакансии и наткнулся
источник

К

Кирилл in Scrapy
черепашка, рыбки, повар... прям стараются)
источник

A

Andrii in Scrapy
Интересно
источник

A

Andrii in Scrapy
Но не потяну
источник

М

Максим in Scrapy
SoHard 🎄
когда-то спрашивали достаточно ли знать только скрапи для работы
я не зная скрапи пошел на работу, где изучал и работал на скрапи
источник