скрипт в питоне сейчас кроном вызывается раз в 10-20 минут. И то, там по pid контролируется вызов, чтобы невыполенное задание не перекрылось.
В идеале - как пришли файлики, так их и обрабатывать по триггеру ( Sensor? ). Это раз в 5 минут примерно

я плохо осознаю зависимости на уровне etl, они сейчас в логике скрипта. Но да, можно разбить на десяток заданий: файлы пришли -> обработали этот -> обработали тот -> отправили задание на перерасчет. как-то так.

собственно ради концепта и зашел, потому что пока не понимаю, помогут ли мне эти инструменты? Как поменять концепт?

Ну, прям вот так концепт не предложишь, нужно понимать
От куда вы эти данные берете, в каком обьеме
Можете ли вы переходить на облачные сервисы
Можно ли заменить dbf ( я так понимаю это слив с регионов дневных данных)
Какой бюджет... и вопрос будет очень много
—-
Если из того что вы описали
Разбить весь скрипт на задачи, где одна задача один файл - так как у вас внутри каждого файла своя процедура обработки (но тут можно наткунтся на DeadLock если пишется в одну таблицу, но опять же какой там объем)
И если главную цель вы преследуете это мониторинг отработало/нет
Вы тогда будете видеть большое дерево в котором где-то будет красненькие задачки, в котором будет достаточно легко понять что и куда.
Плюс если вы тригерите файлики и ошибки чаще всего из-за изменения стркутуры или отсутсвия файла или отсутствия связи в AirFlow это будет легче делать
ИМХО

Спасибо, попробую, наверное, разбить скрипт.

А в конфиге есть же default_timezone = utc

есть, но грабли тоже есть

Добро пожаловать в самое дружелюбное комьюнити.

ребят, а есть какой-нибудь вменяемый способ  сделать следщее: для темплейтед поля  сделать рендеринг, после чего сделать base64 для него, в частности интересуют env для докеоператра

ватафак

слушай, я русским вроде владею, но ни черта не понял, что ты хочешь

)))))

Если я вас правильно понял, то я решал это переписыванием куска Аерфлоу

ну это допустимый вариант,  есть примеры какие?

нужно передать в энвайромент докера переменную в base64 , но при этом сделать рендеринг со стороны эирфлоу перед тем как base64 применить

ты меня отправил под стул

окей. Т.е. ты хочешь закодировать нечто в base64?

Вот пытаюсь найти, пока неудачно.

А в докере аерфлоу или кто-то другой?

не нечто, а templated поле