L
Size: a a a
2020 July 17
L
Сам нашел )
DM
Доброе утро, помню когда-то давно спрашивал, но снова вернулся к этой проблеме. У меня есть кастомный оператор который extend Kuber оператор. При инициализации кубер оператора требуется 3 параметра, а все остальные дефолтные. Следовательно в своем операторе конструкторе я должен как-то инициализировать сразу же эти 3 параметра, а я этого сделать не могу так как передаются эти параметры через внешний источник. Как обычно резолвят такие проблемы? Все остальные параметры я инициализирую в методе execute, но именно с этими 3мя не знаю что делать. Спасибо
GG
Доброе утро, помню когда-то давно спрашивал, но снова вернулся к этой проблеме. У меня есть кастомный оператор который extend Kuber оператор. При инициализации кубер оператора требуется 3 параметра, а все остальные дефолтные. Следовательно в своем операторе конструкторе я должен как-то инициализировать сразу же эти 3 параметра, а я этого сделать не могу так как передаются эти параметры через внешний источник. Как обычно резолвят такие проблемы? Все остальные параметры я инициализирую в методе execute, но именно с этими 3мя не знаю что делать. Спасибо
> Следовательно в своем операторе конструкторе я должен как инициализировать сразу же эти 3 параметра,
чисто питонячья история с **kwargs ?
чисто питонячья история с **kwargs ?
GG
и перепаковкой словарей ?
DM
> Следовательно в своем операторе конструкторе я должен как инициализировать сразу же эти 3 параметра,
чисто питонячья история с **kwargs ?
чисто питонячья история с **kwargs ?
по началу я так и делал, все через kwargs, но мои проблемы с 3 required параметрами возникают все равно, потому что они могут и не быть какое-то время даже если даг перенести в /dags, но дело в том что так не работает. При переносе дага в /dags, выдает ошибку такую
DM
и перепаковкой словарей ?
я решил порефакторить и отказаться от идеи kwargs, сделав кастыль который в execute только все параметры проставляет. Но вот эти параметры требуются во время инициализации в консттрукторе, следовательно тут наверное остается 1 вопрос, можно ли эту инициализацию сделать lazy каким-то образом, может в методе тоже как-то? яхз я не эксперт питона
GG
по началу я так и делал, все через kwargs, но мои проблемы с 3 required параметрами возникают все равно, потому что они могут и не быть какое-то время даже если даг перенести в /dags, но дело в том что так не работает. При переносе дага в /dags, выдает ошибку такую
они не могут не быть
GG
видимо, тебе стоит рассказать как ты расширяешь функционал кубового оператора 🤷♂️ тогда можно будет придумать адекватное решение
DM
@gecube да вроде способов не много, ну может я не нашел другие) Вот мой оператор при инициализации вызывает конструктор кубера.
K
ребят
K
а с саммита вилео появились уже?
ME
А есть возможность посмотреть в UI те variables, которые пришли из переменных среды?
АБ
Всем привет!
Может, кто сталкивался с такой проблемой:
Есть постгрес оператор, который выполняет запрос в базу. Сам запрос отрабатывает за несколько секунд. Но даг на нем виснет и запрос не выполняется. При этом несколько проходов по дагу все может быть хорошо, а потом в какой-то рандомный проход виснет.
При этом никакой ошибки нет. Таск находится в состоянии running.
Может, кто сталкивался с такой проблемой:
Есть постгрес оператор, который выполняет запрос в базу. Сам запрос отрабатывает за несколько секунд. Но даг на нем виснет и запрос не выполняется. При этом несколько проходов по дагу все может быть хорошо, а потом в какой-то рандомный проход виснет.
При этом никакой ошибки нет. Таск находится в состоянии running.
АБ
Перезапуск дага или таска не помогают. Может быть сперва все ок, пока не зависает на очередном рандомном дне.
マサ
А есть возможность посмотреть в UI те variables, которые пришли из переменных среды?
Все вариаблы, которые подтянулись из переменных окружения, должны быть в том же месте, где и все остальные вариаблы. На старте эйрфлоу читает все переменные окружения, которые подпадатют под его шаблоны и добавляет их себе в базу. Это работает также и с коннекшнами.
(верно с версии 1.10.10 https://airflow.apache.org/docs/stable/concepts.html#storing-variables-in-environment-variables)
(верно с версии 1.10.10 https://airflow.apache.org/docs/stable/concepts.html#storing-variables-in-environment-variables)
ME
Да, вроде подтягиваются, но на страничке что-то ничего нет(
ME
BB
это переменные, которые лежат в бекенде.
ME
это переменные, которые лежат в бекенде.
я думал, что как конфиг показывает, что из файла, что из переменных окружения, так и тут покажет тоже)