OI
типа такого
Size: a a a
2018 June 01
KP
не смог нагуглить... в итоге все отработало ок .. в sql файле оставил переменную {{}} а в операторе задал params
KP
Привет!
В своей версии такой оператор не вижу. Но вообще, скорее всего, в параметре
В своей версии такой оператор не вижу. Но вообще, скорее всего, в параметре
sql можно. В коде оператора перед init все параметры, которые темплейтятся должны быть в templated_fields.спасибо
2018 June 06
МС
Привет.
Столкунлся с странным поведением Airflow на одной из наших инсталляций. С одной стороны понимаю, что наверняка не сюда но с другой вдруг кто сталкивался
Столкунлся с странным поведением Airflow на одной из наших инсталляций. С одной стороны понимаю, что наверняка не сюда но с другой вдруг кто сталкивался
МС
Долгие задачи начали обрубаться. Например у меня есть самописаный оператор который выполняет команду через ssh. Какое-то время висит и падает с ошибкой 255 (в ssh это значит "что-то пошло не так").
Есть BashOperator который вызывает скрипт на питоне (там внутри коннекты к разным бд). Короткие таски проходят, а длинные падают
Есть BashOperator который вызывает скрипт на питоне (там внутри коннекты к разным бд). Короткие таски проходят, а длинные падают
SS
насколько длинные?
МС
Минуты.
SS
обрубаются только таски с башем?
МС
Падает bashoperator и падает свой оператор который пораждает ssh сесию
МС
Ну то есть то же по сути bash. Питоновский Popen
SS
на других инсталляциях аналогичные таски отрабатывают. верно? а на проблемной инсталляции та же версия питона?
МС
Сейчас сверю но вроде да
SS
я бы еще копнул в лимиты самой ОС, в лоб: запустить на ней баш-скрипт со слипом и поглядеть
МС
работает так
МС
странно что в логах видно
Killed by signal 15SS
похоже на exection_timeout по смыслу
SS
а если закомментить в теле родного bash_operator команды внутри функции on_kill ?
МС
попробую
МС
а какие лимиты у вас стоят для пользователя airflow?
SS
у нас ничего не стоит для пользователя ОС, у нас задаются лимиты на память всех порождаемых в Airflow процессов через cgroups (силами Cloudera Manager)