statsd метрики в конфиге airflow.cfg

ну да, это прометеус экспортёр

А вот как-то так будет statsd из коробки и prometheus
https://towardsdatascience.com/airflow-in-docker-metrics-reporting-83ad017a24eb

о, каеф! спасибо!

У prometheus вроде своя есть веб-морда и графана не нужна, но неуверен, у нас в облаке, не хотелось лишнюю работу делать, так что дэшборды сами не отображаем, и я на него очень поверхностно посмотрел

не в курсе про расширение метрик в аирфлоу? есть способы искать более подробную инфу? тоже пользуюсь экспортером, но он довольно скудный, и в основном алертим только скапливание задач

statsd подключите

чота у меня на 8125 ничего не поднимется
ошибок никаких нет, но statsd порт тоже недоступен

поставил statsd, apache-airflow[statsd], [scheduler]
statsd_on = True
statsd_host = localhost
statsd_port = 8125
statsd_prefix = airflow

мб что-то ещё не учёл?

он не поднимает, он шлет в твой statsd

кек
чота тупанул, спасибо!

можно вот это поднять, прикрутить меппинг, который я кидал выше и вперед с песнями

этот маппинг?

да

спасибо)

Друзья, приветствую. Начал знакомство с airflow и интересует следующий вопрос. Как лучше посоветуете реализовать следующую механику:
Есть 2 БД source_db и dest_db.
Надо осуществлять периодический перенос данных из одной в другую, при этом хочется отслеживать появление новых записей с нужной периодичностью в source_db, и при появлении новых записей, осуществлять select этих записей из source_db и insert в dest_db.
Нужно ли обращаться к сенсорам, которые будут опрашивать бд и запускать таск, который уже будет делать выборку строк из source_db, которых еще нет в dest_db. Или можно просто предусмотреть опросы все этих баз в рамках одного таска? Какие best practice существуют в таких ситуациях

какие бд?

всё на самом деле зависит от того, как устроены конкретные таблицы и как появляются новые записи