Size: a a a

2021 January 21

DO

Daniil Okhlopkov in Scrapy
i
Возможно, кстати, airflow это оверкилл для только запуска скрапи, если ты его еще не собрался встраивать в какой-нибудь процесс аля CRM, типа данные эти грузятся, потом загружаются куда-то и проворачиваются. Я на аирфлоу смотрю т.к. у меня парсинг это только кусочек айсберга)
Ну вот да. У меня тоже много источников данных.
источник

R

Roma in Scrapy
i
Возможно, кстати, airflow это оверкилл для только запуска скрапи, если ты его еще не собрался встраивать в какой-нибудь процесс аля CRM, типа данные эти грузятся, потом загружаются куда-то и проворачиваются. Я на аирфлоу смотрю т.к. у меня парсинг это только кусочек айсберга)
Нормуль все)) Уже давно такая связка работает
источник

R

Roma in Scrapy
скрапи парсит данные - а постпроцессинг в airflow делаю
источник

R

Roma in Scrapy
потому - это только одна из тасок
источник

DO

Daniil Okhlopkov in Scrapy
Roma
потому - это только одна из тасок
Ну вот ты как скрапи в тачку оборачивал?
источник

DO

Daniil Okhlopkov in Scrapy
Мне это интересно.
источник

R

Roma in Scrapy
дак отдельный сервис
источник

R

Roma in Scrapy
airlow засирать вообще не стоит ничем лишним
источник

DO

Daniil Okhlopkov in Scrapy
Roma
дак отдельный сервис
Ага. И его через рест аирфлоу дергает?
источник

R

Roma in Scrapy
да
источник

R

Roma in Scrapy
я щас смотрю crawlab
источник

R

Roma in Scrapy
чето мозг мне делает уже 3 день - а вообще прикольно решение китаезы сделали
источник

R

Roma in Scrapy
а вообще - по правильному делать - нахер выкинуть все лишние сервисы а запускать таски и скрапи в кубернетис экзекьютор
источник

i

i in Scrapy
вы тока в личку не смещайтесь, вы тут обсуждайте! мне тоже интересно очень!
источник

DO

Daniil Okhlopkov in Scrapy
Roma
а вообще - по правильному делать - нахер выкинуть все лишние сервисы а запускать таски и скрапи в кубернетис экзекьютор
Лично я не умею в кубер, так как для своих маленьких проектов он не нужен. Я использую и обожаю dokku
источник

A

Andrii in Scrapy
Всем интересно
источник

R

Roma in Scrapy
да - если Куб в одиночку лучше и не пробовать запускать
источник

i

i in Scrapy
ползем на свет в сторону аирфлоу!)
источник

DO

Daniil Okhlopkov in Scrapy
i
ползем на свет в сторону аирфлоу!)
Я вот хочу airflow 2.0 в dokku запустить.
источник

R

Roma in Scrapy
Daniil Okhlopkov
Я вот хочу airflow 2.0 в dokku запустить.
Сколько спайдеров то всего?
источник