коллеги, а поделитесь опытом, как вы доставляете jar-ки на машины при использовании celery executor’а?

Я бы просто ссылку отправил (ее по формату можно сделать или получить из атрибута log_url)
Путь к логу в атрибуте log_filepath
В бд метаданных логов нет, они только в файле

Вариант, монтированная папка на всех машинах

а как до этой папки доставлять?
Если у меня jarник в CI гитлаба собирается?

например

CD использовать и будет не важно на какой машине запустится экзекьютор, файл будет в монтированная папке

Прям как у тебя с шарпом было

Когда кодил весь день,но не запускал приложение

Добро пожаловать в самое дружелюбное комьюнити.

Помогите разобраться куда копать.
Есть два дага: dag_1 и dag_2.
В dag_1 пушу в xcom значение, в даг_2 мне нужно получить из хcom это значение и присвоить его переменной.
context['ti'].xcom_push(key="reconcile_true", value="True")
context['ti'].xcom_pull(dag_id="dag_1", task_ids="reconcile",
                                          key="reconcile_true")
значение точно записывается в xcom - и через UI и в  postgres базе аирфлоу - вижу запушенное значение, в том же даге , где пушила в xcom - значение получается достать,
а в другом даге - возвращается None
айдишник таски, дага и ключа перепроверила 100 раз - все верно, но возвращается None.
в обоих операторах стоит provide_context=True
понимаю что что то упускаю, но не вижу что именно... помогите пожалуйста

Возможно, не совпадает execution_date

совпадает(

А если попробовать с

include_prior_dates (bool) – If False, only XComs from the current execution_date are returned. If True, XComs from previous dates are returned as well.

?

спасибо! получилось)

Привет!

Подскажите, почему у меня не получается использовать XComs в выражении select?

Я генерю uuid в первом таске, чтобы можно было использовать его из всего дага:

generate_uuid = PythonOperator(
   task_id='generate_uuid',
   python_callable=lambda:"'"+str(uuid.uuid4())+"'",
   xcom_push=True,
   dag=dag
)

Потом читаю из ini файла запрос, который выглядит примерно вот так:

select {{ task_instance.xcom_pull(task_ids='generate_uuid', key='return_value') }} from src_schema.src_table

В результате получаю ошибку:

FAILED: ParseException line 1:617 cannot recognize input near '{' '{' 'task_instance' in selection target

Хотя по сути использовала почти так же, как и в документации в разделе XCom описано, просто не в качестве таблицы-источника

Что я делаю не так?

А поле, в которое складываете селект, относится к template_fields?

Боюсь, что я этого не знаю. Подозреваю, что нет. Я делала простой python_operator, где в hql  просто помещаю запрос

Оператор:
insert_into_table=PythonOperator(
   task_id='insert_into_table',
   python_callable=insert,
   provide_context = True,
   dag=dag
)

Функция:
def insert(**kwargs):
   hql = parameters["insert"]
   hook=JdbcHook(jdbc_conn_id= 'hive_jdbc_dc_analytics')
   hook.run(hql)

Я поняла ошибку, спасибо!)

👍

Добро пожаловать в самое дружелюбное комьюнити.