ME
Я думаю, такое будет, когда воркер и шедулер на одной ноде
Size: a a a
2020 October 06
D
ок, понял
D
всё же хотелось бы заставить работать LocalExecutor без таких плясок :(
ME
local он вроде только для дебага же?
ME
А вообще обманываю, на селери+мускуле у меня тоже такая ошибка)
ME
ME
даже таски никакие не выполняются в данный момент
ME
но на производительность это никак не влияет, даги бегают
AA
local он вроде только для дебага же?
Для дебага Debug Executor) ну и Sequential
https://airflow.apache.org/docs/stable/executor/debug.html
На локал вполне можно работать, если нагрузка не очень большая
https://airflow.apache.org/docs/stable/executor/debug.html
На локал вполне можно работать, если нагрузка не очень большая
AA
Такая ошибка была, когда были с сетью проблемы и к базе сетаданных аирфлоу не подключался
VS
но на производительность это никак не влияет, даги бегают
Шедулер не справляется, увеличиваете тайминги, а лучше машину помощнее
ME
Шедулер не справляется, увеличиваете тайминги, а лучше машину помощнее
у нас 8 ядер и 32 гига оперативки... Но правда не понятно, сколько на контейнер приходится в докере
GB
но на производительность это никак не влияет, даги бегают
Вообще они сами советуют перезагружать scheduler пораньше, попробуйте num_runs задать
ME
А чего ему не справляться, если вообще ничего не работает?
VS
у нас 8 ядер и 32 гига оперативки... Но правда не понятно, сколько на контейнер приходится в докере
На котором вебсервер, шедулер, воркер, брокер и бекенд?
ME
На котором вебсервер, шедулер, воркер, брокер и бекенд?
ага, и 10 дагов)
ME
вебсервер и шедулер в одном контейнере
ME
а бекенд - внешняя база
AA
Dmitry
всё же хотелось бы заставить работать LocalExecutor без таких плясок :(
а перезапустить сервисы не помогло?)
VS
Выделите отдельно вебсервер + шедулер, 4 ядра и 8 гигов должно хватить. Бекенд и брокер на аналогичный. И воркер на необходимую нагрузку