Size: a a a

2020 December 14

A

Andrey in Airflow
Ivan Kizimenko
а есть команда для принудительного рефреша папки с дагами? Чтоб интервал выставить побольше, а когда что-то прогаешь можно было руками обновлять
можно в GUI на кнопку обновления нажать, он сходит и посмотрит обновление файлов
источник

IK

Ivan Kizimenko in Airflow
Andrey
можно в GUI на кнопку обновления нажать, он сходит и посмотрит обновление файлов
я тоже думал что он должен так делать, но нет =)
источник

A

Andrey in Airflow
он так и делает, если не обновляет, то нужно уже смотреть дальше. Может файлы старые, и смотреть в логи, может что то не дает это сделать
источник

AA

Anton Afonin in Airflow
Ivan Kizimenko
я тоже думал что он должен так делать, но нет =)
он делает, просто это занимает неопределённое некоторое время
источник

GB

Georgy Borodin in Airflow
Ну ещё время хранения сериализованных дагов мб влияет
источник

IK

Ivan Kizimenko in Airflow
Andrey
он так и делает, если не обновляет, то нужно уже смотреть дальше. Может файлы старые, и смотреть в логи, может что то не дает это сделать
Мы про ту кнопку рефреш говорим?
источник

A

Andrey in Airflow
интерфейс какой-то новый ?) но да, похоже на нее
источник

IK

Ivan Kizimenko in Airflow
это вторая версия
источник

A

Andrey in Airflow
Ivan Kizimenko
это вторая версия
тогда ковырять логи и код :) вероятность бага велика
источник

IK

Ivan Kizimenko in Airflow
да мне не критично, просто пытаюсь понять какой интервал подобрать потимальный, чтоб лишний раз не бегал фалйы не проверял
источник

A

Andrey in Airflow
на проде раз в 30 минут норм, на тесте где идет разработка можно раз в 30 секунд
источник

GB

Georgy Borodin in Airflow
Ivan Kizimenko
это вторая версия
О, а расскажи, как развёрнуто. Интересует фича с несколькими шедулерами, если юзал – есть ли прирост в скорости?
источник

A

Andrey in Airflow
Andrey
на проде раз в 30 минут норм, на тесте где идет разработка можно раз в 30 секунд
главное следить за колличеством файлов и дагов, лучше удалять старые
источник

IK

Ivan Kizimenko in Airflow
Georgy Borodin
О, а расскажи, как развёрнуто. Интересует фича с несколькими шедулерами, если юзал – есть ли прирост в скорости?
1 шедулер, даже без celery. Поэтому врядли что то интересное. Только примеряюсь к нему для внедрения.
источник

ME

Max Efremov in Airflow
там ещё игнор есть
источник

IK

Ivan Kizimenko in Airflow
Поэтому собственно сразу вторую версию и ставлю, чтоб потом не переписывать все со старой версии.
источник

IK

Ivan Kizimenko in Airflow
но по сорости работы он мне больше нравится чем первый, тут задачи прям молниеносно пролетают, в отличии от первой версии 13 релиза.
источник

ME

Max Efremov in Airflow
Ivan Kizimenko
Поэтому собственно сразу вторую версию и ставлю, чтоб потом не переписывать все со старой версии.
а во второй много поменялось?
источник

IK

Ivan Kizimenko in Airflow
Max Efremov
а во второй много поменялось?
они там много чего переименовали
источник

IK

Ivan Kizimenko in Airflow
+Taskflow с декораторами
источник