Size: a a a

2020 December 28

GB

Georgy Borodin in Airflow
Ivan Kizimenko
я может чего то не пойму, но надо ли что то подключать чтобы использовать Jinja переменные в дагах:
AIrflow 2
Обычный питон оператор, в строке вставляю {{ ds }}  но магии не просиходит и там так и остается  {{ ds }}
А дальше как-то так:
def my_operator(arg1, **context):
   exec_date = context['ds']
источник

IK

Ivan Kizimenko in Airflow
Georgy Borodin
А дальше как-то так:
def my_operator(arg1, **context):
   exec_date = context['ds']
там сейчас есть get_current_context
источник

IK

Ivan Kizimenko in Airflow
но направление понял, думал что как то неверно образ собрал
источник

GB

Georgy Borodin in Airflow
Ivan Kizimenko
там сейчас есть get_current_context
Ну я пока живу прошлым, чтобы спать хорошо на новогодних 😄
источник

IK

Ivan Kizimenko in Airflow
нахер тогда нужны эти темплейты
источник

GB

Georgy Borodin in Airflow
Ivan Kizimenko
нахер тогда нужны эти темплейты
Ну не питоноператором единым же, как минимум
источник

ME

Max Efremov in Airflow
Ivan Kizimenko
нахер тогда нужны эти темплейты
В sql, например, удобно
источник

IK

Ivan Kizimenko in Airflow
ну я для sql и пытался прикрутить но правда это не SQL оператор  =) Ладно хотяб понят что в питоне не стоит на эти макросы рассчитывать либо делать расширенный оператор
источник

ME

Max Efremov in Airflow
Или в trigger dug run operator execution date передать
источник

ME

Max Efremov in Airflow
Ivan Kizimenko
ну я для sql и пытался прикрутить но правда это не SQL оператор  =) Ладно хотяб понят что в питоне не стоит на эти макросы рассчитывать либо делать расширенный оператор
Надо делать sql через sql operator и будет профит) либо самому, но без этого, да
источник

IK

Ivan Kizimenko in Airflow
Max Efremov
Надо делать sql через sql operator и будет профит) либо самому, но без этого, да
ну тут clickhouse, правда по http и придется поковыряться еще, не думаю что сразу все заведется. я так понял там надо hooks.dbapi настроить корректно
источник

マサ

マキシム サモイロフ... in Airflow
Ivan Kizimenko
нахер тогда нужны эти темплейты
В PythonOperator шаблонизатор подвозит значения только в конкретный набор полей. В коде самого python_operator.py в template_fields (или как-то так поле должно называться) описаны конкретные параметры оператора, которые проходят через шаблонизатор.

В частности он умеет, если я правильно помню, вставлять шаблоны в op_kwargs и params. Этого вам не хватит?
источник

IK

Ivan Kizimenko in Airflow
マキシム サモイロフ
В PythonOperator шаблонизатор подвозит значения только в конкретный набор полей. В коде самого python_operator.py в template_fields (или как-то так поле должно называться) описаны конкретные параметры оператора, которые проходят через шаблонизатор.

В частности он умеет, если я правильно помню, вставлять шаблоны в op_kwargs и params. Этого вам не хватит?
да я уже сделал через get_current_context()
источник

GB

Georgy Borodin in Airflow
Ivan Kizimenko
ну тут clickhouse, правда по http и придется поковыряться еще, не думаю что сразу все заведется. я так понял там надо hooks.dbapi настроить корректно
https://airflow.apache.org/docs/apache-airflow-providers-http/stable/_api/airflow/providers/http/operators/http/index.html

Вполне может подойти на 2-ой версии. Но если нужна доп. логика – то остаётся только питоноператор
источник

IK

Ivan Kizimenko in Airflow
Georgy Borodin
https://airflow.apache.org/docs/apache-airflow-providers-http/stable/_api/airflow/providers/http/operators/http/index.html

Вполне может подойти на 2-ой версии. Но если нужна доп. логика – то остаётся только питоноператор
о нем даже не думал, попробую. Спасибо
источник
2020 December 29

А

Андрей in Airflow
Всем добрый вечер. Кто может подсказать какой пакет python лучше использовать для пакетной вставки строк в таблицу приемник? pandas? Что-то еще есть?
источник

А

Антон in Airflow
Sql alchemy
источник

M

Mikhail in Airflow
лучше всего использовать нативный клиент целевой базы
источник

M

Mikhail in Airflow
любые абстракции скорее всего повлияют на производительность
источник

DN

Dmitriy Novikov in Airflow
Андрей
Всем добрый вечер. Кто может подсказать какой пакет python лучше использовать для пакетной вставки строк в таблицу приемник? pandas? Что-то еще есть?
через сокеты)
источник