Для прома куча готовых экспортеров есть, может вам что-то подойдёт

То есть я правильно понимаю, что если у меня только пара Microsoft SQL базенок, то лучше б я на SSIS делал ETL? Или это дело вкуса всё-таки

Спасибо, понял, что Вы имеете ввиду. Да, это альтернатива, согласен.  Но тут неприятно становится деплоить и управлять данными скриптами (например быстрый вкл/выкл), которых может быть 50+. Т.е. тут без генератора конфигурационного файла или ansible не обойтись. По поводу получения метрик - да, все как Вы и сказали. Основной вопрос именно запуск скриптов в независимых pod'ах, а также управление ими.

К слову мониторинг бизнес метрик имеется ввиду.

Тогда непонятно чего вы мониторить хотите, и зачем вам каждую метрику в независимом поде держать.

Да ещё и выключать/включать их десятками.

хочу мониторить бизнес метрики, например, antifraud.

Ну допустим, тут разницы нет что мониторить. Непонятно в чем проблема ими без airflow управлять.

Мне кажется вы больше гемороя получите от лишней нагрузки airflow, чем фантомное удобство от него.

Спасибо за помощь. Я и хочу собрать мнение грамотных людей, чтобы оценить все за и против)) Если что уже есть работающий airflow на KubernetesExecutor для ETL (ELT) задач.

Но к нему точно мониторинговые таски привязывать не буду) шедулер все же не резиновый))

Тем более, если вам не разрешают поды по 16 ядер делать, он точно лопнет от таких приколов

Добро пожаловать в самое дружелюбное комьюнити.

Как в оператор передать параметр из запроса? Типа я дёрнул даг курлом, параметр передал в функции, вызывающие код, но в сам e-mail оператор например как передать

xcom push \ pull

и потом шаблонизотором достать

{{ task_instance.xcom_pull(task_ids='calc_max_dt') }}

?

а есть код где-нибудь? Так не понятно

Ладно понял спасибо

Коллеги, добрый день!
Испытываю проблемы с запуском SparkSubmitOperator-a из удаленного сервера (который содержит эйрфлоу).
Коннект осуществляется  и задача стартует, но падает сразу же на моменте обращения к таблице - выбрасывается AnalysisException: Table or view not found .... UnresolvedRelation .... Данный сбой я наблюдаю в yarn логах на кластере, где мы запускаем задачу.
В hive-site.xml hive warehouse установлена в /user/hive/warehouse, но LOCATION установлен  в /res/relugar/test_db/tables_db. Сам параметр spark.sql.warehouse.dir пробовал в разные места устанавливать, но как итог всегда одна ошибка
Любая помощь очень нужна для меня