Добро пожаловать в самое дружелюбное комьюнити.

Уважаемые коллеги, вопрос не от разработчика а от стороны эксплуатации. Быть может кто-то сможет обьяснить на пальцах опцию doNotPickle при работе c CeleryExecutor

дико штормит скедулер

Ребят. полчаса сижу в ступоре: не могу придумать crontime для "с 0:30 до 14:00 каждые 10 мин"

Одним кронтабом так нельзя. Либо два, либо запускайте с 0 или 1

Жаль, жаль. Спасибо)

BTW PR по теме
https://github.com/apache/airflow/pull/9091

Ребята, кто-то сталкивался с проблемой, что task фейлится через 3 минуты и сервер возвращает 499 Client Closed Request

Сначала думал что проблема на стороне сервера, но это именно airflow обрывает

Ну и вообще, всего через полчаса сдаваться...)

Давайте без шейминга)

коллеги, а кто нибудь сталкивался с подобным в Cloud Composer ?

File "/opt/python3.6/lib/python3.6/copy.py", line 169, in deepcopy
rv = reductor(4)
File "/opt/python3.6/lib/python3.6/site-packages/google/cloud/client.py", line 144, in __getstate__
"Clients have non-trivial state that is local and unpickleable.",
_pickle.PicklingError: Pickling client objects is explicitly not supported.
Clients have non-trivial state that is local and unpickleable.

Добро пожаловать в самое дружелюбное комьюнити.

коллеги, добрый день!
а какие сейчас есть бест-практики по версионированию ДАГов Airflow?
я хочу в ДАГе Airflow дергать Livy REST API, передавая ему конкретную версию JAR-ника со Spark-кодом, чтобы он этот JAR-ник подтянул откуда-то из Artifactory

и не соображу как увязать версионирование сборки/JAR-ника и версионирование ДАГа

@ssheremeta vars?

тогда не останется истории привязки DAG_run и версии джарника...
или просто в лог DAG_run выводить используемое значение переменной?

мб тогда
dag = DAG("dag_» + version,
         schedule_interval=None,
         start_date=datetime(2020, 7, 8, 0))
globals()["dag_» + version] = dag

каждый даг под новой версией

Как это интерпретировать?

{{local_task_job.py:103}} INFO - Task exited with return code -9

попробую так, спасибо!