SS
йоу, а кто-то пробовал прикрутить Airflow как CSD в Cloudera Manager?
Size: a a a
2018 March 07
YE
Интересно. Мы нет. А какая цель? Что хотите через CM делать?
SS
хочу
1) управлять всеми компонентами Airflow через консоль CM (старт-стоп)
2) назначать роль airflow-worker на новые узлы
3) настраивать лимиты на ресурсы, выделяемые каждой роли (cgroups)
4) отслеживать состояние всех узлов Airflow через единый дашборд
1) управлять всеми компонентами Airflow через консоль CM (старт-стоп)
2) назначать роль airflow-worker на новые узлы
3) настраивать лимиты на ресурсы, выделяемые каждой роли (cgroups)
4) отслеживать состояние всех узлов Airflow через единый дашборд
SS
у меня почти весь стек технологий в Клаудере
сейчас прорабатываю вариант впихнуть туда и Airflow, и БД метаданных (Postgres HA)
сейчас прорабатываю вариант впихнуть туда и Airflow, и БД метаданных (Postgres HA)
YE
Очень круто!
EM
но айрфлоу вертел мои мысленные эксперименты и запустил в пуле больше тасок, чем размер пула. это нормально, что "used slots" > "slots"?
FYI в общем, есть такой баг. бэкфилл игнорирует лимит пула
https://issues.apache.org/jira/browse/AIRFLOW-1557
https://issues.apache.org/jira/browse/AIRFLOW-1557
2018 March 13
SS
коллеги, подскажите как вы храните приватные ssh ключи внутри воркеров airflow для SSH-hook'ов?
SS
может быть, кто-то уже кастомизировал SSHHook чтобы приватный ключ брать как строку из БД метаданных?
МС
Мы просто разложили на воркеры с помощью Ansible и всё
2018 March 15
NZ
коллеги, подскажите, почему в scheduler во время проверки актуальности джобов, берется не настоящее время?
[2018-03-15 13:42:47,396] {models.py:341} INFO - Finding 'running' jobs without a recent heartbeat
[2018-03-15 13:42:47,396] {models.py:345} INFO - Failing jobs without heartbeat after 2018-03-15 10:37:47.396711
[2018-03-15 13:42:47,396] {models.py:341} INFO - Finding 'running' jobs without a recent heartbeat
[2018-03-15 13:42:47,396] {models.py:345} INFO - Failing jobs without heartbeat after 2018-03-15 10:37:47.396711
SS
а какое - настоящее - должно быть?
SS
Airflow работает в таймзоне UTC
SS
полагаю, что вы в Москве... как раз смещение в +3 часа относительно UTC
YE
При этом лог пишет во времени оси