Телеграмм чат группы ruairflow страница 1361

parrot.ru

Рейтинг популярных групп и каналов

В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1151 membersпожаловаться на группу

2021 March 14

М

Михаил in Airflow

набросал хэндлер с фильтром, который ловит сообщения с текстом Rows affected из лога и сохраняет в XCom: https://gist.github.com/adilkhash/7ac372554a33867effc8cc900b9a56d7
тестировал на airflow 2.0 с LocalExecutor и PostgresOperator.

Apache Airflow Rows Affected Catcher

Apache Airflow Rows Affected Catcher. GitHub Gist: instantly share code, notes, and snippets.

Класс, посмотрел бегло, попробую на дня прикрутить

источник

21:09пожаловаться #1

А

Адиль in Airflow

Не в моменте, для логирование, сколько и каких записей пришло

тогда мой вариант должен помочь

источник

21:09пожаловаться #2

А

Анастасия in Airflow

Привет!
Я столкнулась с тем, что баш скрипт работает в баш операторе, но не работает в сенсоре - пишет, что в баш сенсоре нет jq:
» line 16: jq: command not found
Это можно как-то исправить?

источник

23:03пожаловаться #3

2021 March 15

GB

Georgy Borodin in Airflow

Анастасия

Привет!
Я столкнулась с тем, что баш скрипт работает в баш операторе, но не работает в сенсоре - пишет, что в баш сенсоре нет jq:
» line 16: jq: command not found
Это можно как-то исправить?

Поставить jq, всё довольно логично)

источник

00:20пожаловаться #4

А

Анастасия in Airflow

Поставить jq, всё довольно логично)

Разве возможно, чтобы оно стояло для баш оператора, но не стояло для сенсора?)

источник

00:23пожаловаться #5

ME

Max Efremov in Airflow

А какой экзекутор?

источник

00:25пожаловаться #6

GB

Georgy Borodin in Airflow

Анастасия

Разве возможно, чтобы оно стояло для баш оператора, но не стояло для сенсора?)

Ну я не могу сванговать, как у вас так всё развёрнуто)
Но я уверен, что если у вас airflow в докере, то достаточно добавить установку jq в докерфайл

источник

00:28пожаловаться #7

GB

Georgy Borodin in Airflow

Ну а вообще, дело может быть в path. Попробуйте полный путь до jq указать в команде сенсора

источник

00:30пожаловаться #8

M

Mikhail in Airflow

есть еще вероятность, что на одном воркере установлен jq, а на другом нет

источник

01:20пожаловаться #9

M

Mikhail in Airflow

и это всё никак не связано с тем, сенсор это или обычный оператор

источник

01:20пожаловаться #10

ME

Max Efremov in Airflow

есть еще вероятность, что на одном воркере установлен jq, а на другом нет

Я тоже про это подумал, но без информации об установке этого не узнать

источник

01:21пожаловаться #11

SP

Sergey Postanogov in Airflow

источник

06:33пожаловаться #12

A

Здравствуйте

источник

09:18пожаловаться #13

A

я тут новичок

источник

09:18пожаловаться #14

A

хотела спросить, airflow можно ли интегрировать с grafana?

источник

09:20пожаловаться #15

A

и в линукс устанавливается ?

источник

09:20пожаловаться #16

A

как я поняла, airflow сможет автоматизировать повторяющий процесс загрузки файлов в базу данных?

источник

09:21пожаловаться #17

A

хотела спросить, airflow можно ли интегрировать с grafana?

или в airflow тоже можно визуализировать данные так же как и в графане, но уже с автоматизацией ?

источник

09:23пожаловаться #18

P

Pavel in Airflow

как я поняла, airflow сможет автоматизировать повторяющий процесс загрузки файлов в базу данных?

Да

источник

09:23пожаловаться #19

P

Pavel in Airflow

хотела спросить, airflow можно ли интегрировать с grafana?

Да

источник

09:23пожаловаться #20