IK
вот дока от второй версии:
http://apache-airflow-docs.s3-website.eu-central-1.amazonaws.com
http://apache-airflow-docs.s3-website.eu-central-1.amazonaws.com
Size: a a a
2020 December 14
AA
А никто не в курсе, можно ли получить для дага id (int, который в табличке dag_run как первичный ключ используется), без запроса из базы?
AA
Я теперь в курсе)
AA
{{ dag_run.id }}IK
как можно понять почему UI периодически отваливается висит 502, все логи пересмотрел непонятно. Причем на минуту наверно он так залипает
АК
Всем привет) кто нибудь сталкивался с ошибкой при использовании SparkSubmitOperator, ошибка из ярна:
File does not exist: hdfs://test/user/test/.sparkStaging/application_1607330044089_0697/spark_conf.zip
File does not exist: hdfs://test/user/test/.sparkStaging/application_1607330044089_0697/spark_conf.zip
АК
нагуглил что нужно проверить HADOOP_CONF_DIR переменную, но может кто уже решал проблему)
IK
А есть способ вытащить значение xcom из прошлого запуска таска за сегодня?
IK
Из таблицы?
из какой?
ME
кто-то сталкивался с таким? Актив раны заданы в 1, но работает сразу 2 дага
ME
ME
ME
специально задано 1, чтобы друг за другом шли
IS
при таком конфиге 1 дагран должен работать, а второй просто висеть в раннинг стэйте, не запуская таски, и ждать пока первый закончит
ME
Ihar Shurupau
при таком конфиге 1 дагран должен работать, а второй просто висеть в раннинг стэйте, не запуская таски, и ждать пока первый закончит
Ага, но кажется я словил очередной баг 1.10.13...
2020 December 15