im
Я правильно понимаю, что если pipeline быстрый и частотный (скажем 1 мин) и если задачи при этом легковесны то надо с нуля просто делать свои сервисы и всё прочее? Или есть готовые интересные решения в области pipelin-ов для таких задач?
Size: a a a
2021 February 16
А
Я правильно понимаю, что если pipeline быстрый и частотный (скажем 1 мин) и если задачи при этом легковесны то надо с нуля просто делать свои сервисы и всё прочее? Или есть готовые интересные решения в области pipelin-ов для таких задач?
вопрос стоит ли брать для этого Airflow?
➔m
вопрос стоит ли брать для этого Airflow?
Ну может, он просто уже есть, поэтому такой вопрос, стоит ли прям вот усердствовать и брать что-то еще
VS
Я правильно понимаю, что если pipeline быстрый и частотный (скажем 1 мин) и если задачи при этом легковесны то надо с нуля просто делать свои сервисы и всё прочее? Или есть готовые интересные решения в области pipelin-ов для таких задач?
Не понимаю, как зависит частота пайплайна и какие то ваши сервисы, но стоит понимать, чем чаще идет запуск джобов, тем меньше нужно оверхеда для этого запуска, а это значит больше ресурсов и тюнинг везде и всего
VS
Ну и да, airflow не гарантирует запуск джобов ровно по таймингу
VS
Если надо часто что-то делать, проще перевести на стриминг
ОБ
Коллеги, еще вопрос: нужно дергать хранимку MS SQL Server получать из нее пару сотен строчек данных, и класть их в PostgresSQL. Подскажите, как правильно это делать?
im
Airflow тоже подходит, если не смущает вагон зависимостей
https://medium.com/@manuelmourato25/when-airflow-isnt-fast-enough-distributed-orchestration-of-multiple-small-workloads-with-celery-afb3daebe611
1. Разве для airflow при быстрых задачах не будет оверхеда?
2. Что делать с логами и ui ведь для таких частотных задач ими нельзя пользоваться внутри airflow?
1. Разве для airflow при быстрых задачах не будет оверхеда?
2. Что делать с логами и ui ведь для таких частотных задач ими нельзя пользоваться внутри airflow?
im
Не понимаю, как зависит частота пайплайна и какие то ваши сервисы, но стоит понимать, чем чаще идет запуск джобов, тем меньше нужно оверхеда для этого запуска, а это значит больше ресурсов и тюнинг везде и всего
Не очень понял почему если чаще идёт Джоба то меньше оверхеда
VS
Нужно меньше оверхеда, а не меньше оверхеда
im
Нужно меньше оверхеда, а не меньше оверхеда
Я имею в виду оверхед от пересылок сообщений обновления бд airflow и прочее . Что заметно на гант диаграмме
VS
Я вас не понимаю
im
VS
А
https://medium.com/@manuelmourato25/when-airflow-isnt-fast-enough-distributed-orchestration-of-multiple-small-workloads-with-celery-afb3daebe611
1. Разве для airflow при быстрых задачах не будет оверхеда?
2. Что делать с логами и ui ведь для таких частотных задач ими нельзя пользоваться внутри airflow?
1. Разве для airflow при быстрых задачах не будет оверхеда?
2. Что делать с логами и ui ведь для таких частотных задач ими нельзя пользоваться внутри airflow?
поэтому я предложил Luigi :)
а второй вопрос я не понял, почему нельзя пользоваться?
а второй вопрос я не понял, почему нельзя пользоваться?
