IL
AIRFLOW__CORE__DAGBAG_IMPORT_TIMEOUT=60 вроде не влияет на этоSize: a a a
2020 November 30
2020 December 01
SS
Друзья, а к предыдущему вопросу про "30 лямов строк". Можно ли как-то сделать, чтобы при такой методике, если даги выполняются не последовательно в связи с тем, что время пришло, а заполняют исторические данные ... чтобы даги работали последовательно. Т.е. например сначала он выполнил за 01.11 потом за 02.11 и т.д. Потому-что получается что он паралельно всех их выполняет у меня и это ломает логику.
GB
Всем привет! Ребзя, возвращаюсь к своему вопросу про старт вебсервера. Теперь такой вопрос:
с чем может быть связанно то, что airflow со стандартными настройками стартует прекрасно, но когда прописываешь ему postgres для бэкенда, он начинает ну ОЧЕНЬ туго заводится?
с чем может быть связанно то, что airflow со стандартными настройками стартует прекрасно, но когда прописываешь ему postgres для бэкенда, он начинает ну ОЧЕНЬ туго заводится?
А постгрес на том же хосте?
VS
Второй и последующие запуски делали?
VS
Какие настройки пулов для подключения к базе?
GB
Друзья, а к предыдущему вопросу про "30 лямов строк". Можно ли как-то сделать, чтобы при такой методике, если даги выполняются не последовательно в связи с тем, что время пришло, а заполняют исторические данные ... чтобы даги работали последовательно. Т.е. например сначала он выполнил за 01.11 потом за 02.11 и т.д. Потому-что получается что он паралельно всех их выполняет у меня и это ломает логику.
dag = DAG(max_active_runs = 1...)
catchup с самого раннего начинает вродеSS
dag = DAG(max_active_runs = 1...)
catchup с самого раннего начинает вродеmax_active_runs делает работу дагов так-же паралеьно, но не в 20 условных потоков, а в 1. т.е. он делает не [clear,clear,clear,...] а делает [clear],[clear],[clear]
А
Какие настройки пулов для подключения к базе?
sql_alchemy_pool_size = 5
VS
Нужны логи
GB
max_active_runs делает работу дагов так-же паралеьно, но не в 20 условных потоков, а в 1. т.е. он делает не [clear,clear,clear,...] а делает [clear],[clear],[clear]
Почему вдруг параллельно?
max_active_runs – сколько DAG Run-ов может работать единовременно. Если значение – 1, то и даги будут последовательно работать
max_active_runs – сколько DAG Run-ов может работать единовременно. Если значение – 1, то и даги будут последовательно работать
GB
max_active_runs делает работу дагов так-же паралеьно, но не в 20 условных потоков, а в 1. т.е. он делает не [clear,clear,clear,...] а делает [clear],[clear],[clear]
А
Нужны логи
в логах ничего необычного, изучил вдоль и поперек
GB
в логах ничего необычного, изучил вдоль и поперек
https://cloud.ibm.com/docs/databases-for-postgresql?topic=databases-for-postgresql-managing-connections#:~:text=PostgreSQL%20Connection%20Limits,for%20you%20and%20your%20applications.
Имеет смысл посмотреть, что там в базе с подключениями
Имеет смысл посмотреть, что там в базе с подключениями
SS
потому-что я пробовал на практике :(. catchup на сколько я понимаю, он определяет тянуть ли исторические данные и не более того. Он берет создает условно 30 заданий по 1 на каждый день. И начинает паралельно по одному выполнять сначала все первые даги, потом все вторые и т.д.
GB
потому-что я пробовал на практике :(. catchup на сколько я понимаю, он определяет тянуть ли исторические данные и не более того. Он берет создает условно 30 заданий по 1 на каждый день. И начинает паралельно по одному выполнять сначала все первые даги, потом все вторые и т.д.
Ну я ж прям со скрином скинул из их доки, max_active_runs ограничивает именно даг раны. Можешь путать со схожим параметром для тасков
GB
потому-что я пробовал на практике :(. catchup на сколько я понимаю, он определяет тянуть ли исторические данные и не более того. Он берет создает условно 30 заданий по 1 на каждый день. И начинает паралельно по одному выполнять сначала все первые даги, потом все вторые и т.д.
https://github.com/apache/airflow/blob/master/airflow/jobs/backfill_job.py
286 строчка (и обращения к методу, соответственно)
286 строчка (и обращения к методу, соответственно)
SS
Ну я ж прям со скрином скинул из их доки, max_active_runs ограничивает именно даг раны. Можешь путать со схожим параметром для тасков
Вот как себя ведет max_active_runs. И там больше одного дага внутри :)