В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1187 membersпожаловаться на группу
2021 March 29

ФЧ

Филипп Чистяков... in Airflow
Вот функция для отправки в slack
источник
15:38пожаловаться#1

ФЧ

Филипп Чистяков... in Airflow
Как я могу проверить что оператор вызывался?
источник
15:38пожаловаться#2

DN

Dmitriy Novikov in Airflow
Филипп Чистяков
Как я могу проверить что оператор вызывался?
Так там готовый оператор же есть
источник
16:25пожаловаться#3

ФЧ

Филипп Чистяков... in Airflow
Функция работает, мне понять почему питон оператор не запускается on failure. Slack operator я пробовал тоже, он также не стартует



Разобрался
источник
16:26пожаловаться#4

L

L-dar in Airflow
Привет! Не особый питонист, подскажите пожалуйста. не работает многопоточность
В переменной file_list хранится данные с базы. Убрал запрос, чтоб уменьшить код
источник
17:24пожаловаться#5

L

L-dar in Airflow
Ошибка:
Can't pickle <function download_file at 0x7f5f890f7680>: import of module 'unusual_prefix_0518399e140c5bd3b67a0085a3299f835b8112ff_common.test
источник
17:24пожаловаться#6

L

L-dar in Airflow
Вроде все просто.
источник
17:27пожаловаться#7

L

L-dar in Airflow
Но нет
источник
17:27пожаловаться#8

А

Адиль in Airflow
L-dar
Ошибка:
Can't pickle <function download_file at 0x7f5f890f7680>: import of module 'unusual_prefix_0518399e140c5bd3b67a0085a3299f835b8112ff_common.test
А вы как запускаете? Через Эйрфлоу ?
источник
17:43пожаловаться#9

L

L-dar in Airflow
Адиль
А вы как запускаете? Через Эйрфлоу ?
Да
источник
17:44пожаловаться#10

А

Адиль in Airflow
L-dar
Да
А почему под каждый аргумент кортежа не сделать отдельный оператор в цикле ?
источник
17:44пожаловаться#11

А

Адиль in Airflow
Т.е. достичь параллельного выполнения средствами эйрфлоу, а не через multiprocessing
источник
17:45пожаловаться#12

L

L-dar in Airflow
Адиль
Т.е. достичь параллельного выполнения средствами эйрфлоу, а не через multiprocessing
хм. А можно ссылка на пример, доку?
источник
17:46пожаловаться#13

А

Адиль in Airflow
Ну вот вместо создания процессов создавать PythonOperator на каждый элемент в кортеже
источник
17:48пожаловаться#14

А

Адиль in Airflow
Покажите код всего дага
источник
17:48пожаловаться#15

L

L-dar in Airflow
Адиль
Покажите код всего дага
Скину в личку
источник
17:49пожаловаться#16

ФЧ

Филипп Чистяков... in Airflow
Филипп Чистяков
Функция работает, мне понять почему питон оператор не запускается on failure. Slack operator я пробовал тоже, он также не стартует



Разобрался
Заработало после добавления в pythonoperator, по другому не срабатывает
источник
18:37пожаловаться#17

AK

Andrew Konstantinov in Airflow
Всем привет! естть у кого нибудь внятный пример с ExternalTaskSensor ?
источник
18:59пожаловаться#18

ДС

Дина Сафина... in Airflow
Andrew Konstantinov
Всем привет! естть у кого нибудь внятный пример с ExternalTaskSensor ?
wait_for_mscope = ExternalTaskSensor(
   task_id='wait_for_mscope',
   external_dag_id='oda_load_mscope',
   external_task_id='eod',
   pool='dma_sensor_pool',
   dag=dag
)
источник
19:06пожаловаться#19

ДС

Дина Сафина... in Airflow
Такой?
источник
19:06пожаловаться#20