В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

929 membersпожаловаться на группу
2020 September 10

AB

Anton Bukreev in Airflow
Пробую вот запустить SSHOperator 
command="sh /home/spark/rmsp_csv_temp/test_spark.sh {{task_instance.xcom_pull(task_ids='get_nifi_download_message', key='message')[0][\"flowStatus\"][\"sourceDataset\"]}}"
В xcom  данные есть. Таска успешно завершается. Но до самого скрипта не доходит переменная.  В Логах вижу [2020-09-10 20:07:52,010] {ssh_operator.py:109} INFO - Running command: sh /home/spark/rmsp_csv_temp/test_spark.sh Как я понимаю, все что после пробела обрезается в команде. Как заставить его принять на вход переменную?
источник
20:53пожаловаться#1

ME

Max Efremov in Airflow
А в рендеред темплейте что?
источник
21:02пожаловаться#2

I

Igor in Airflow
Anton Bukreev
Пробую вот запустить SSHOperator 
command="sh /home/spark/rmsp_csv_temp/test_spark.sh {{task_instance.xcom_pull(task_ids='get_nifi_download_message', key='message')[0][\"flowStatus\"][\"sourceDataset\"]}}"
В xcom  данные есть. Таска успешно завершается. Но до самого скрипта не доходит переменная.  В Логах вижу [2020-09-10 20:07:52,010] {ssh_operator.py:109} INFO - Running command: sh /home/spark/rmsp_csv_temp/test_spark.sh Как я понимаю, все что после пробела обрезается в команде. Как заставить его принять на вход переменную?
а попробуй через мультилайн?
command = """
sh /home/spark/cho/tam/u/tebya {{task_instance.xcom_pull(blablalba }}

""",
источник
21:04пожаловаться#3

AB

Anton Bukreev in Airflow
Сейчас
источник
21:05пожаловаться#4

AB

Anton Bukreev in Airflow
Max Efremov
А в рендеред темплейте что?
sh '/home/spark/rmsp_csv_temp/test_spark.sh ' получается вообще не отрабатывает task_instance
источник
21:06пожаловаться#5

ME

Max Efremov in Airflow
Anton Bukreev
sh '/home/spark/rmsp_csv_temp/test_spark.sh ' получается вообще не отрабатывает task_instance
Мб там пусто...
источник
21:07пожаловаться#6

AB

Anton Bukreev in Airflow
Max Efremov
Мб там пусто...
Нет. Это скрин с того же запуска дага что и рендеред темплайт
источник
21:07пожаловаться#7

ME

Max Efremov in Airflow
Хм, ключ написан с большой буквы не уверен, но вдруг регистрозависимо...
источник
21:09пожаловаться#8

AB

Anton Bukreev in Airflow
Max Efremov
Хм, ключ написан с большой буквы не уверен, но вдруг регистрозависимо...
Да это просто паста старая, я уже пофиксил
источник
21:10пожаловаться#9

AB

Anton Bukreev in Airflow
Igor
а попробуй через мультилайн?
command = """
sh /home/spark/cho/tam/u/tebya {{task_instance.xcom_pull(blablalba }}

""",
так же все
источник
21:16пожаловаться#10

ME

Max Efremov in Airflow
А если убрать имя таски, просто по ключу получить?
источник
21:28пожаловаться#11

AB

Anton Bukreev in Airflow
Max Efremov
А если убрать имя таски, просто по ключу получить?
так же пусто
источник
22:31пожаловаться#12
2020 September 11

AB

Anton Bukreev in Airflow
Anton Bukreev
Пробую вот запустить SSHOperator 
command="sh /home/spark/rmsp_csv_temp/test_spark.sh {{task_instance.xcom_pull(task_ids='get_nifi_download_message', key='message')[0][\"flowStatus\"][\"sourceDataset\"]}}"
В xcom  данные есть. Таска успешно завершается. Но до самого скрипта не доходит переменная.  В Логах вижу [2020-09-10 20:07:52,010] {ssh_operator.py:109} INFO - Running command: sh /home/spark/rmsp_csv_temp/test_spark.sh Как я понимаю, все что после пробела обрезается в команде. Как заставить его принять на вход переменную?
а с переменной {{ ds }} нормально все отрабатывает
источник
00:08пожаловаться#13

AT

Al T in Airflow
Vladislav 👻 Shishkov
airflow имеет ошибки импорта за 1 минуту
Airflow import process has failed with errors 1 minute(s) ago
источник
01:38пожаловаться#14

VS

Vladislav 👻 Shishkov... in Airflow
Уже не правильно
источник
01:38пожаловаться#15

AT

Al T in Airflow
оставьте как есть тогда :) все равно никто не поймет
источник
01:44пожаловаться#16

AT

Al T in Airflow
попробую догадаться что если по русски жто означает что процесс не отвалился но за последнюю минуту кинул в логи или куда там какое-то количество ошибок, то тогда будет   Airflow import process has registered (или logged) some errors in last 1 minute(s)
источник
01:51пожаловаться#17

AB

Anton Bukreev in Airflow
Методом научного тыка было установлено что {{ task_instance.xcom_pull(task_ids='get_nifi_download_message', key='message')[0]['flowStatus'] }} вот так работает, а вот так {{ task_instance.xcom_pull(task_ids='get_nifi_download_message', key='message')[0]['flowStatus']['sourceDataset'] }} (с вложенным словарем) уже нет. Никто не сталкивался с таким? Как в Jinja можно достать по ключу из словаря значение?
источник
12:03пожаловаться#18

AB

Anton Bukreev in Airflow
Не охота Python-оператор ставить дополнительный
источник
12:05пожаловаться#19

SG

Sergey Gavrilov in Airflow
Как атрибут, насколько я помню
источник
12:05пожаловаться#20