K
тот же код
Size: a a a
2021 March 25
GB
Он старые даги не удаляет автоматически, которых физически нет уже, там есть какой патч или нет?
Ты про то, уберёт ли он даги из метадб?
K
из ui не убирает
GB
из ui не убирает
Ну он и не должен, это типа журнала дагранов
K
K
в старых версиях эирфлоу эта штука периодически ломалась
GB
Хм, странно. Вроде же даг раны должны оставаться 🤔
K
Хм, странно. Вроде же даг раны должны оставаться 🤔
Просто это поведение, меняется от версии к версии, и я все больше хочу эирфлоу на скале
RF
Если я не ошибаюсь, то максимальное количество коннектов считается так:
UPD: даже так
sql_alchemy_pool_size * (parallelism + 1)
Ну и оверфлоу ещёUPD: даже так
(sql_alchemy_pool_size + sql_alchemy_max_overflow) * max_threads + 1[Dag processor Manager] + 1[Main scheduler process]32 ядра на воркере - parallelism ставить 30?
pool_size дефолтный 5 норм?
ну т.е. мне на два воркера где-то надо max_connection 500? если с запасом
pool_size дефолтный 5 норм?
ну т.е. мне на два воркера где-то надо max_connection 500? если с запасом
GB
Просто это поведение, меняется от версии к версии, и я все больше хочу эирфлоу на скале
Ну вот кстати ровно сегодня поднимал тестовое окружение и прогонял dags list, файла уже не было, но даг есть в списке.
И даже не помню, чтобы было иначе (но я с эирфлоу версии где-то с 1.10.*)
И даже не помню, чтобы было иначе (но я с эирфлоу версии где-то с 1.10.*)
GB
32 ядра на воркере - parallelism ставить 30?
pool_size дефолтный 5 норм?
ну т.е. мне на два воркера где-то надо max_connection 500? если с запасом
pool_size дефолтный 5 норм?
ну т.е. мне на два воркера где-то надо max_connection 500? если с запасом
Посмотри в доке сначала про назначение этих конфиг-параметров, потом ставь)
parallelism – это про количество тасков, которые могут единовременно крутиться в твоём эирфлоу (100 дагов по 1 таску запустили одновременно, параллелизм – 50, значит, половина будет ждать, ну очень грубо говоря)
parallelism – это про количество тасков, которые могут единовременно крутиться в твоём эирфлоу (100 дагов по 1 таску запустили одновременно, параллелизм – 50, значит, половина будет ждать, ну очень грубо говоря)
RF
есть 150 дагов, но они конечно не все одновременно стартуют
GB
32 ядра на воркере - parallelism ставить 30?
pool_size дефолтный 5 норм?
ну т.е. мне на два воркера где-то надо max_connection 500? если с запасом
pool_size дефолтный 5 норм?
ну т.е. мне на два воркера где-то надо max_connection 500? если с запасом
У меня, кстати, такие результаты, как на диаграмме с ~50 воркерами в пики нагрузок
K
Ребята, а вы делали что то вроде volume per dag или как то еще, чтобы передавать стейт между тасками
GB
Ребята, а вы делали что то вроде volume per dag или как то еще, чтобы передавать стейт между тасками
Опиши, о чём ты: тебе надо пушить что-то через xcom/переменные или данные промежуточно складывать куда-то?
K
Промежуточно складывать куда-то файлики
K
хком совмем не приятная штука
GB
хком совмем не приятная штука
Ну да, он ещё и ограничен размером
GB
Промежуточное хранилище зависит полностью от того, как у тебя задеплоен airflow. У нас всё в авс-е – поэтому у нас s3 и прочее
K
ну допустим есть s3