либо третий вариант - ставить pg_pool или pg_bouncer

ну как оно там - conenction pooling

Всем привет)) Вот интересно, а для таких задач, например antifraud, где раз в минуту/5 минут нужно по последним данным + историческим  делать проверки кто что использует? Тоже есть удобный продукт или же проще свою систему организовывать?

Не совсем хорошая идея.
Есть уверенность в том что за 1 минуту все операции будут совершены?

да, конечно) Минимальный порог высчитывается исходя их времени рассчета + устанавливается лимит на выполнение. Но все равно при всех этих условиях на airflow такие задачи не положить(

А чем вам лямбда функции на том же авс или гугл не нравятся?

Они по триггеру работают

И ненужен никакой аирфлру

нужен авс или гугл только, ага

бизнес ограничения

Зачем, у меня просто это есть я этим пользуюсь. И не говорю что прямо нужно.
Уже были случаи в этом чате когда человек работал на гугл клауд консоли а хотел на ВМ поставить аирфлоу. Хотя в гугл консоли уже реализован апи аирфлоу

Добрый день, подскажите кто сталкивался, у меня есть даг и в нем используется некоторые переменные в виде Variables, столкнулся с проблемой: когда кладу даг в /dags, на уровне подкладки сразу же проверяется прописанны ли эти переменные в виде Variables в airflow. Подскажите возможно ли как-то избавиться? Я хочу что бы проблемы с Variables возникли только тогда, когда ты запускаешь даг, а не моментально когда только положил его в /dags. Спасибо

ну обращайтесь к переменным не во время конструирования дага, а во время запуска

Не получится

Единственный вариант — это вставить проверку в сами функции, которые составляют у вас таски

в смысле не получится?

вы делаете как-то так

то есть обращение к переменной каждый раз когда читается файл дага

def test(**ctx):
    SOME_VAR = Variable.get('some_var')
    print(f"var is {SOME_VAR}")


test = PythonOperator(task_id="test", python_callable=test)

а надо так