Size: a a a

2021 February 04

GB

Georgy Borodin in Airflow
Sergey Gogolev
День добрый, подскажите, можно каким либо  простым образом выделить инстанс airwlow красной полоской, с обозначением, что это прод?
источник

OI

Oleg Ilinsky in Airflow
Sergey Gogolev
День добрый, подскажите, можно каким либо  простым образом выделить инстанс airwlow красной полоской, с обозначением, что это прод?
да
в конфиге
# Define the color of navigation bar
navbar_color = #007A87
источник

VS

Vladislav 👻 Shishkov... in Airflow
ооо, прикольно
источник

SG

Sergey Gogolev in Airflow
Спасибо большое
источник

SG

Sergey Gogolev in Airflow
Oleg Ilinsky
да
в конфиге
# Define the color of navigation bar
navbar_color = #007A87
Благодарю
источник

OI

Oleg Ilinsky in Airflow
Sergey Gogolev
День добрый, подскажите, можно каким либо  простым образом выделить инстанс airwlow красной полоской, с обозначением, что это прод?
вообще, там при желании можно темы фласка накатывать
я даже как-то пытался ночную тему использовать
но все, кроме дефолтной, выглядят вырвиглазно
источник

AB

Alexey Bedrintsev in Airflow
Vova Narovchatskiy
Коллеги, добрый день.
Если в теле дага написать:
if ....
  t1 = BashOperator(
       task_id= 'create_file',
       bash_command=create_command,
       dag=dag
  )
else ...
Мы получим зацикливание?
Я правильно понимаю, что подобные вещи нужно оборачивать в PythonOperator?
Если условие - дизайн-тайм (не зависит от результатов предыдущих операторов), то можно и как вы написали.
Если же ран-тайм, то похоже, что вы ищете BranchPythonOperator
источник

AB

Alexey Bedrintsev in Airflow
Про зацикливание не понял.
источник

VN

Vova Narovchatskiy in Airflow
Alexey Bedrintsev
Если условие - дизайн-тайм (не зависит от результатов предыдущих операторов), то можно и как вы написали.
Если же ран-тайм, то похоже, что вы ищете BranchPythonOperator
Алексей, условие в моем случае содержит проверку существования пути к файлу. В случае если путь есть даг выполняется, иначе exception.
Есть подозрение что конструкция описанная выше зацикливается и условие проверяется без остановки, даже если расписание у дага once или none.
источник

AB

Alexey Bedrintsev in Airflow
Да, условие проверяется постоянно.
Все даги пересоздаются раз в какое-то время, так устроен AF.
источник

PA

Panchenko Andrey in Airflow
Alexey Bedrintsev
Может, параллельно что-то крутится, и таска в очереди. Или AF тормозит из-за чего-то.
Да там такая история. Это гугловый композер. Там только три таски которые уже выполнены. На момент рана. Но меня смущает то что там тайм ауты межу карент таской и даунстрим таской 2 минуты.
источник

VN

Vova Narovchatskiy in Airflow
Alexey Bedrintsev
Да, условие проверяется постоянно.
Все даги пересоздаются раз в какое-то время, так устроен AF.
Может из-за этого быть загрузка ЦП на 100%?
источник

Д

Дмитрий in Airflow
Всем привет.
источник

Д

Дмитрий in Airflow
Кто-то пробовал запустить Airflow 2.0.0 с KubernetesExecutor?
источник

Д

Дмитрий in Airflow
У меня под валится с ошибкой raise AirflowException(airflow.exceptions.AirflowException: dag_id could not be found: parallel_dag
источник

Д

Дмитрий in Airflow
Нашел что-то подобное - но это сильно не помогло - github / helm/ charts/issues/22637
источник

Д

Дмитрий in Airflow
Для запуска использую чарт со стейбла
источник

Д

Дмитрий in Airflow
Все что меняю это
--set dags.gitSync.enabled=true \
--set dags.gitSync.repo=${dags_git_url} \
--set dags.gitSync.branch=${branch} \
--set dags.gitSync.subPath=dags
источник

Д

Дмитрий in Airflow
Буду благодарен за помощь.
источник

AB

Alexey Bedrintsev in Airflow
Vova Narovchatskiy
Может из-за этого быть загрузка ЦП на 100%?
Майнить битки точно не стоит) Подробнее не скажу, не админ.
источник