Я бы хотел при обновлении кода операторов повторно прогонять на тех же объектах

Думаю, тут надо самостоятельно что-то придумать) аирфлоу ничего не знает о данных, он управляет операциями

Ага

Тем проще

А можно узнать какие-то параметры upstream оператора?

Я не хочу хардкодить из какого ключа xcom оператор читает данные, а чтобы он брал оттуда куда родительский шаг записал. Думал в каждом операторе указать параметом куда он пишет, можно ли узнать параметры родителя?

тк в твоем случае кубик и есть волт то в airflow_local_settings.py

def pod_mutation_hook(pod: V1Pod):
 pod.metadata.annotations['vault.hashicorp.com/agent-inject'] = 'true'
 pod.metadata.annotations['vault.hashicorp.com/agent-init-first'] = 'true'
 pod.metadata.annotations['vault.hashicorp.com/agent-inject-secret-kinit.sh'] = '***/airflow/{tech_user}'.format(tech_user=get_tech_user(pod))
 pod.metadata.annotations['vault.hashicorp.com/agent-inject-status'] = 'update'
 pod.metadata.annotations['vault.hashicorp.com/agent-pre-populate-only'] = 'true'
 pod.metadata.annotations['vault.hashicorp.com/role'] = 'airflow-role'
 pod.metadata.annotations['vault.hashicorp.com/agent-inject-template-kinit.sh'] = """
 {{- with secret "***/airflow/%(tech_user)s" -}}
   echo "{{ .Data.data.password }}" | kinit {{ .Data.data.username }}
 {{- end }}""" % {"tech_user": get_tech_user(pod)}

и шаришь директорию с тгт между инит контейнером инжектора и контейнером с таской через emptyDir в шаблоне пода

привет, а на какие проблемы с шедулером в кубере натыкались?

умирает регулярно

так-то с пробой жить можно, но неприятно, когда умирает вместе с почти доделанной джобой 🙂

а по какой причине умирают?

а мы пока не поняли, стоит в планах все дебаги включить и смотреть

Привет всем! Хочу чтобы даг выполнялся по понедельникам и четвергам. Поскажите, пожалуйста,  как это прописать ?

понял, спасибо

Хочется иметь тумблер, останавливающий запуски по расписанию, иногда бывает необходимость запустить какой-то dag_run в прошлом, убедится что все ок, и продолжить дальше выполнять по расписанию.
Из идей только в variable засунуть метку, которая будет scheduled_interval=None ставить

Никто таким не озадачивался?

Ребята, я правильно понимаю, что невозможно будет перезапустить даг и pythonOperator должным образом за предыдущий день  или предыдущий час, если в операторе используется функция datetime.now для каких то вычислений?

запустить из CLI

Как правильно сделать даг, чтобы его можно было перезапускать задним числом?