Size: a a a

2021 May 13

AM

Andrey M in Airflow
А что предложите тогда?
источник

AA

Anton Afonin in Airflow
Лучше питон бранч оператор и проверять дату
источник

AA

Anton Afonin in Airflow
Если менять связи - потом нневозможно будет понять, как когда было на самом деле
источник

🍒

🍒 in Airflow
Спасибо, не знал что такое есть
источник

AM

Andrey M in Airflow
Спасибо:)
источник

AA

Anton Afonin in Airflow
И проверять не сегодняшюю дату, а ds из контекста - тогда вообще идемпотентно будет)
источник

AM

Andrey M in Airflow
Можете расшифровать "ds из контекста"?
источник

AA

Anton Afonin in Airflow
источник

AA

Anton Afonin in Airflow
Это дата даграна
источник

AA

Anton Afonin in Airflow
Дагран - это инстанс дага, запущенный за конкретную дату
источник

AA

Anton Afonin in Airflow
в питон операторы можно прокидывать вот так
источник

AA

Anton Afonin in Airflow
Потом использовать
источник

AM

Andrey M in Airflow
Если честно, это сложно для понимания вот так с ходу, но сейчас постараюсь разобраться
источник

GB

Georgy Borodin in Airflow
.execute() добавь к TriggerDagRunOperator. Ты его просто обьявил, от этого он ничего не сделает)
источник

SC

Stanislav Chernov in Airflow
О спасибо, попробую
источник

GB

Georgy Borodin in Airflow
Возможно нужно ещё context будет передавать в execute, но не могу проверить сейчас
источник

SO

Simon Osipov in Airflow
Привет
Поднимая Airflow в кубере, столкнулся с тем, что у нас по умолчанию у дефолтного сервисного аккаунта нет определенных ролей, поэтому шедулер падает


{"kind":"Status","apiVersion":"v1","metadata":{},"status":"Failure","message":"pods is forbidden: User \"system:serviceaccount:account-name:default\" cannot list resource \"pods\" in API group \"\" in the namespace \”namespace_name\””,”reason":"Forbidden","details":{"kind":"pods"},"code":403}


Соответственно, хочу создать сервисный аккаунт для этого, ему надо накинуть role и RoleBinding
Где посмотреть, что ему нужно, какие api_groups/resources/verbs, чтобы не накинуть лишнего?
источник

SC

Stanislav Chernov in Airflow
Даа...
источник

SC

Stanislav Chernov in Airflow
а как правильно ?
источник

GB

Georgy Borodin in Airflow
источник