Но я проверил, в наличии

файл внутри образа тот же самый?

Ага
Но твои слова навели меня на мысль, я полез проверить и нашел ошибку
Благодарю!

поделись с нами

в airflow.cfg было старое имя образа

И для генерелезации, я когда постил код, все специфичные названия заменил общими, поэтому за этим не было видно различия)

Вопрос.
Можно ли функцию использовать как таску, но при этом, она должна делать return (python)

Аля

def blabla():
   return 10

def dich():
   s = blabla()
   s += 10

Но при этом, мне нужно, чтобы у меня отображалось, выполнилась ли функция блабла (она там будет по бд проходится)

Можно использовать functional dag

А как правильно в кубере запускать вычисления?

Там есть KubernetesPodOperator и KubernetesExecutor.

Ну и вроде бы при использовании  экзекьютора можно указать шаблон пода, то есть что там, что там можно запускать отдельные таски с разными зависимостями/требованиями по ресурсам.

Какие плюсы/минусы обоих вариантов, как каноничнее?

я, навскидку, не вижу плюсов  KubernetesPodOperator по сравнению с KubernetesExecutor

KubernetesPodOperator создает нужный тебе под для выполнения одной задачи. KubernetesExecutor делает то же самое, но для всех задач, выполняемых через Airflow

То есть если я сижу на Celery в целом и потихоньку съезжаю на кубер, то KubernetesPodOperator, если меня устраивает, что вообще все на кубере, то KubernetesExecutor?
Для промежуточных вариантов придумали?

что подразумевается под промежуточным вариантом? часть задач отправлять на один executor, часть на другой?

Я имел ввиду что-то вроде.
Когда у вас уже заведена более классическая схема без kubernetes и все работало, но вот он где-то рядом появился и хочется потихоньку его использовать, например начать с одной таски, которой нужно GPU, который в кластере есть, а на старых воркерах нет.

думаю тут проще всего завести отдельный Airflow с KubernetesExecutor и постепенно переводить на него таски

я просто хочу нащупать зону применимости KubernetesPodOperator=)

по крайней мере я не знаю способов указать конкретный executor только для определенного DAG, чтобы постепенно переводить их на новую схему запуска

ну попробуйте использовать его, отработайте шаблоны подов для нужных вам задач, добейтесь нужного вам результата с одним таском и стабильности в его запусках, а потом уже решите, стоит ли игра свеч

Если прям переезжать хочется - можно еще на CeleryKubernetesExecutor посмотреть.
Там просто у тасок очередь другую указываешь, и они начинают на K8sExecutor работать.

О, спасибо, ещё один повод обновиться до 2.0

Была ли у кого-то потребность останавливать расписание у дага на время?
Допустим нужно долго перегружать историю, а даг запускается раз в 30 минут.