GB
Ну я бы поглядел тогда на issues на github-е и логи шедулера посмотрел бы
Size: a a a
2020 November 16
VN
skipping sla check for MyDag because no tasks in DAG have SLAs
VN
Больше ничего интересного в логах шедулера
VN
Понял почему таск не берется в работу но не понял почему так.
Изменил schedule_interval на '0 1 * * *' и увилел следующее - в расписании 6 экземпляров дага, где первые пять по расписанию 2020-03-15 - 2020-03-20, а шестой с текущей датой, которая естественно не входит в интервал. Именно этот инстанс висит в ожидании с моря погоды
Изменил schedule_interval на '0 1 * * *' и увилел следующее - в расписании 6 экземпляров дага, где первые пять по расписанию 2020-03-15 - 2020-03-20, а шестой с текущей датой, которая естественно не входит в интервал. Именно этот инстанс висит в ожидании с моря погоды
ME
Понял почему таск не берется в работу но не понял почему так.
Изменил schedule_interval на '0 1 * * *' и увилел следующее - в расписании 6 экземпляров дага, где первые пять по расписанию 2020-03-15 - 2020-03-20, а шестой с текущей датой, которая естественно не входит в интервал. Именно этот инстанс висит в ожидании с моря погоды
Изменил schedule_interval на '0 1 * * *' и увилел следующее - в расписании 6 экземпляров дага, где первые пять по расписанию 2020-03-15 - 2020-03-20, а шестой с текущей датой, которая естественно не входит в интервал. Именно этот инстанс висит в ожидании с моря погоды
С текущий от ручного рана наверное
ME
Название у него без sheduled же?
ME
Можно удалить даг текущий в ui, подождать когда свежий создастся и мб лучше будет)
2020 November 18
GB
Привет!
Кто-нибудь собирает statsd метрики? (@SLASH_CyberPunk знаю, что пользуется)
Интересует метрика
Кто-нибудь собирает statsd метрики? (@SLASH_CyberPunk знаю, что пользуется)
Интересует метрика
dag.<dag_id>.<task_id>.duration. Собираю через cloudwatch agent, метрики идут, но вот связанных с даг ранами не наблюдаю, в таймингах только всевозможные загрузки и процессингиVS
Не помню в какой, но помню, что в доке было написано одно, а по факту в метрике половина была только...
OI
Не помню в какой, но помню, что в доке было написано одно, а по факту в метрике половина была только...
VS
Я смирился с airflow и принимаю его таким, какой он есть 😬
OI
GB
UPD: дело оказалось в правилах сети: похоже, что метрики льются не только от шедулера, но и от воркеров
VS
в этой, наверное
Там все метрики, в какой-то из, логично
GB
Прям пальцем в небо тыкнул, добавив inbound, и метрик резко стало больше
VS
Это логично да, каждый инстанс льет
GB
Но странно, в конфиге вынесено это в раздел шедулера
OI
Раз уж про метрики заговорили. Мне в прометеус метрики надо подтянуть. Я узказал прометеусу как target airflow-host:8080/admin/metrics/
а там чота не густо как-то:
airflow_dag_run_duration
airflow_dag_status
airflow_task_status
Метрики из statsd можно как-то туда подтянуть?
а там чота не густо как-то:
airflow_dag_run_duration
airflow_dag_status
airflow_task_status
Метрики из statsd можно как-то туда подтянуть?
VS
Раз уж про метрики заговорили. Мне в прометеус метрики надо подтянуть. Я узказал прометеусу как target airflow-host:8080/admin/metrics/
а там чота не густо как-то:
airflow_dag_run_duration
airflow_dag_status
airflow_task_status
Метрики из statsd можно как-то туда подтянуть?
а там чота не густо как-то:
airflow_dag_run_duration
airflow_dag_status
airflow_task_status
Метрики из statsd можно как-то туда подтянуть?
Судя по линку - это airflow-exporter. Это отдельный плагин