ME
🤔 А для чего тогда выстраивать workflow?
запустить обработку за дату, чекнуть, что все данные естьч подождать недостающие, триггернуть etl, трингернуть базу для загрузки результатов, триггернуть проверку качества данных, отрапортавать об успехе
Size: a a a
2020 November 12
ME
интересно, xcom вообще кто-то сейчас ещё использует?...
У меня там лежат даты для обработки, например)
ME
В разных форматах, чтобы каждый раз не брать из даты запуска и не преобразовывать
VS
Если данных много, то xcom не спасет, а без данных это не etl и не elt
Что такое elt в курсе?
ME
Просто для передачи данных между тасками всё равно нужна база данных или очередь
Или объектное хранилище)
ME
Ну как бы можно сделать некоторую обработку через PythonOperator
Это какое-то извращение
ME
Добавляем к airflow базу данных или шину. И получается пакетный etl
Может NiFi лучше взять?
ME
Он вот как раз для ETL
ME
Или StreamSets
VN
Что такое elt в курсе?
сейчас уже все в курсе и что такое etl, и что такое elt, и что такое пакетная обработка и что такое стриминг
VN
Может NiFi лучше взять?
NiFi это для потоковой обработки, раньше у нас так и было. Пакеты на airflow, потоки на NiFi. Потом смотрели spark structured streaming, сейчас уже потихоньку на flink переделываем
СГ
Это какое-то извращение
Почему извращение? По мне так лучше обработку на пандасе сделать и обернуть ее в функцию, чем 500+ процессоров в nifi делать
K
привет всем, подскажите пожалуйста, возсожно ли как-то перебороть боль у Airflow со скедулером.
Просто скедулер у Airflow на Celery часто зависал при 150 дагах с 10 тасками, а если что-то валилось, то без рук не поподнять все обратно
А сейчас перехожу на Кубер и там должно быть примерно 3000 дагов и по опыту я понимаю, что скедулер не вывезет такую нагрузку, тк он либо будет постоянно подвисать, либо даги будут очень медленно запускаться
Подскажете как с этим бороться?
Просто скедулер у Airflow на Celery часто зависал при 150 дагах с 10 тасками, а если что-то валилось, то без рук не поподнять все обратно
А сейчас перехожу на Кубер и там должно быть примерно 3000 дагов и по опыту я понимаю, что скедулер не вывезет такую нагрузку, тк он либо будет постоянно подвисать, либо даги будут очень медленно запускаться
Подскажете как с этим бороться?
GB
Konstantin
привет всем, подскажите пожалуйста, возсожно ли как-то перебороть боль у Airflow со скедулером.
Просто скедулер у Airflow на Celery часто зависал при 150 дагах с 10 тасками, а если что-то валилось, то без рук не поподнять все обратно
А сейчас перехожу на Кубер и там должно быть примерно 3000 дагов и по опыту я понимаю, что скедулер не вывезет такую нагрузку, тк он либо будет постоянно подвисать, либо даги будут очень медленно запускаться
Подскажете как с этим бороться?
Просто скедулер у Airflow на Celery часто зависал при 150 дагах с 10 тасками, а если что-то валилось, то без рук не поподнять все обратно
А сейчас перехожу на Кубер и там должно быть примерно 3000 дагов и по опыту я понимаю, что скедулер не вывезет такую нагрузку, тк он либо будет постоянно подвисать, либо даги будут очень медленно запускаться
Подскажете как с этим бороться?
Ждать 2 эирфлоу: там будет возможность завести несколько шедулеров.
Я поставил шедулер перезапускаться каждые 2 часа (сейчас на Celery), и вроде фризов нет
Я поставил шедулер перезапускаться каждые 2 часа (сейчас на Celery), и вроде фризов нет
K
Ждать 2 эирфлоу: там будет возможность завести несколько шедулеров.
Я поставил шедулер перезапускаться каждые 2 часа (сейчас на Celery), и вроде фризов нет
Я поставил шедулер перезапускаться каждые 2 часа (сейчас на Celery), и вроде фризов нет
Так а при перезапуске все что уже бежит или собирается на пару минут будет красным, да и airflow покажет, что скедулер пока не активен
Как-то на проще такое видеть каждые 2 часа слишком больно для сапорта 😂
Как-то на проще такое видеть каждые 2 часа слишком больно для сапорта 😂
GB
Konstantin
Так а при перезапуске все что уже бежит или собирается на пару минут будет красным, да и airflow покажет, что скедулер пока не активен
Как-то на проще такое видеть каждые 2 часа слишком больно для сапорта 😂
Как-то на проще такое видеть каждые 2 часа слишком больно для сапорта 😂
Почему вдруг красным? Статусы тасков в бд, шедулер ни при чём
GB
Но что шедулер лежит, покажет, это да
K
Но что шедулер лежит, покажет, это да
Я вот про это)
GB
Ну в этом нет ничего критического)
Раньше вообще ограничивали количество прогонов шедулера, он просто деградирует со временем
Раньше вообще ограничивали количество прогонов шедулера, он просто деградирует со временем
K
+ ведь если даг захочет запуститься по расписанию в то время пока шедулер будет просыпаться, то тоже может такс отвалиться разок