А
Привет всем, никто не знает как разраешить
Please make sure to build the frontend in static/ directory and restart the server
? уже пересетапил раз 10 аирфлоу
Size: a a a
2021 March 24
IL
N
Коллеги, всем добрый день. Один даг с порядка 400 тасками нормально будет отрабатывать? Таски достаточно простые. Интересует не возникнет ли проблем именно из-за кол-ва тасков. Я так понимаю лучше 400 тасков в одном даге, чем 40 дагов с 10 тасками. Используется CeleryExecutor
пробовали 10тыс тасок на сабдаге запускать, все хорошо отрабатывает, кроме того что очень много оверхеда в виде передачи тасок через брокер и логов
GB
Коллеги, всем добрый день. Один даг с порядка 400 тасками нормально будет отрабатывать? Таски достаточно простые. Интересует не возникнет ли проблем именно из-за кол-ва тасков. Я так понимаю лучше 400 тасков в одном даге, чем 40 дагов с 10 тасками. Используется CeleryExecutor
Ой ну хз насчёт "лучше 400 тасков в одном даге, чем 40 дагов с 10 тасками", тут дискутировать можно вечность.
Имхо, лучше иметь 40 дагов, хотя бы потому что 400 тасков рисовать вебсервер точно рад не будет.
Опять же, эти 400 тасочек небось динамически генерятся? Если их разное количество будет в разные моменты – шедулер рад не будет
Имхо, лучше иметь 40 дагов, хотя бы потому что 400 тасков рисовать вебсервер точно рад не будет.
Опять же, эти 400 тасочек небось динамически генерятся? Если их разное количество будет в разные моменты – шедулер рад не будет
MF
Ой ну хз насчёт "лучше 400 тасков в одном даге, чем 40 дагов с 10 тасками", тут дискутировать можно вечность.
Имхо, лучше иметь 40 дагов, хотя бы потому что 400 тасков рисовать вебсервер точно рад не будет.
Опять же, эти 400 тасочек небось динамически генерятся? Если их разное количество будет в разные моменты – шедулер рад не будет
Имхо, лучше иметь 40 дагов, хотя бы потому что 400 тасков рисовать вебсервер точно рад не будет.
Опять же, эти 400 тасочек небось динамически генерятся? Если их разное количество будет в разные моменты – шедулер рад не будет
Почему не рад будет непостоянному кол-ву дагов?
GB
Почему не рад будет непостоянному кол-ву дагов?
Тасков, а не дагов. Перезапуск даг ранов превратится в кошмар
MF
Тасков, а не дагов. Перезапуск даг ранов превратится в кошмар
да, тасков. Спасибо, приму к сведению
GB
Почему не рад будет непостоянному кол-ву дагов?
Проверено было на себе, версии эдак на 1.10.12. Вряд ли лучше стало. Airflow – про статичные, редко меняющиеся workflow, это у них концептуально закреплено
MF
Проверено было на себе, версии эдак на 1.10.12. Вряд ли лучше стало. Airflow – про статичные, редко меняющиеся workflow, это у них концептуально закреплено
Учту
N
А кто-нибудь знает, можно ли как-то программно проверить валидность дага? Вот лежит типа на диске файл, хочется понять, не будет ли на него ругаться airflow.
GB
А кто-нибудь знает, можно ли как-то программно проверить валидность дага? Вот лежит типа на диске файл, хочется понять, не будет ли на него ругаться airflow.
python dag_file.py
GB
А кто-нибудь знает, можно ли как-то программно проверить валидность дага? Вот лежит типа на диске файл, хочется понять, не будет ли на него ругаться airflow.
Если не вылезет ошибок – с точки зрения импортов и синтаксиса всё гуд.
Для более подробной проверки можно использовать DebugExecutor https://airflow.apache.org/docs/apache-airflow/stable/executor/debug.html
Для более подробной проверки можно использовать DebugExecutor https://airflow.apache.org/docs/apache-airflow/stable/executor/debug.html
DP
Привет, подскажите, пожалуйста, как перезапускать даг полностью, несколько раз если он упал с ошибкой, retries перезапускает последнюю проваленную задачу, мне нужно полностью перезапускать даг, начиная с первого таска.
N
Если не вылезет ошибок – с точки зрения импортов и синтаксиса всё гуд.
Для более подробной проверки можно использовать DebugExecutor https://airflow.apache.org/docs/apache-airflow/stable/executor/debug.html
Для более подробной проверки можно использовать DebugExecutor https://airflow.apache.org/docs/apache-airflow/stable/executor/debug.html
GB
Привет, подскажите, пожалуйста, как перезапускать даг полностью, несколько раз если он упал с ошибкой, retries перезапускает последнюю проваленную задачу, мне нужно полностью перезапускать даг, начиная с первого таска.
on_failure_callback + DAG.clear(), наверное
N
А кто-нибудь знает, можно ли как-то программно проверить валидность дага? Вот лежит типа на диске файл, хочется понять, не будет ли на него ругаться airflow.
Хочу ci/cd намутить
GB
Хочу ci/cd намутить
https://airflow.apache.org/docs/apache-airflow/stable/best-practices.html#testing-a-dag тогда вот тут всё есть
DP
во втором airflow есть task_group, но как на 1.14 сделать перезапуск группы тасков, на ум приходит subdag, но как реализовать хз
DN
Мне чет кажется нужно было на второй сразу пкреходить
VL
Не, сабдаги не подходят как таскгруппы тк сабдагоператор занимает пул.
Я делал так:
def build_group():
...
return task_in, task_out
И дальше голову и хвост соединяешь в даге
Я делал так:
def build_group():
...
return task_in, task_out
И дальше голову и хвост соединяешь в даге