В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1151 membersпожаловаться на группу
2021 March 14

M

Mikhail in Airflow
Стоп
источник
16:13пожаловаться#1

M

Mikhail in Airflow
А что pythonoperator делает?
источник
16:14пожаловаться#2

M

Mikhail in Airflow
Доступ к коннекшену/курсору есть?
источник
16:15пожаловаться#3

М

Михаил in Airflow
Panchenko Andrey
А доступ к базе с логами есть?
Если имеется ввиду airflow.log, то да
источник
16:15пожаловаться#4

М

Михаил in Airflow
Mikhail
А что pythonoperator делает?
Тут не pythonoperator, а PosgresSqlOperator или OracleSqlOperator
источник
16:16пожаловаться#5

М

Михаил in Airflow
Там собственно выполняется обычные insert/update/delete
источник
16:17пожаловаться#6

M

Mikhail in Airflow
Боюсь без кастомизации самого оператора тут не обойтись
источник
16:18пожаловаться#7

M

Mikhail in Airflow
Если хотели в xcom пихать rows affected
источник
16:18пожаловаться#8

М

Михаил in Airflow
Но в принципе же можно наврено и не только лог  pythonoperator в переменную вывести
источник
16:18пожаловаться#9

М

Михаил in Airflow
Почитаю статейку, может что-то придумаю
источник
16:19пожаловаться#10

M

Mikhail in Airflow
Вопрос в том что это нужно делать в рантайме, если встроенный оператор не умеет это делать, то ему никак не помочь
источник
16:19пожаловаться#11

M

Mikhail in Airflow
Михаил
Почитаю статейку, может что-то придумаю
Это проще будет из соединения или курсора достать
источник
16:19пожаловаться#12

M

Mikhail in Airflow
Но придется оператор переписать
источник
16:20пожаловаться#13

М

Михаил in Airflow
Не хотелось бы переписывать
источник
16:22пожаловаться#14

M

Mikhail in Airflow
Михаил
Не хотелось бы переписывать
Ну этого никак не сделать при создании дага, если оператор не поддерживает
источник
16:57пожаловаться#15

R

R in Airflow
Mikhail
initdb делали?
Да, и таблица log  есть в sqlite
источник
18:46пожаловаться#16

M

Mikhail in Airflow
R
Да, и таблица log  есть в sqlite
Может быть такое, что initdb и test делаются с разными базами?
источник
20:03пожаловаться#17

А

Адиль in Airflow
Михаил
Коллеги, день добрый, подскажите пожалуйста, можно ли как-то в airflow вытаскивать количество обработанных строк в БД, в логах такая инфа есть, но как вытащить не знаю.

Заранее спасибо.
привет. расскажи чуть подробнее про контекст использования?
что с этим числом планируется делать в моменте?
источник
20:10пожаловаться#18

А

Адиль in Airflow
набросал хэндлер с фильтром, который ловит сообщения с текстом Rows affected из лога и сохраняет в XCom: https://gist.github.com/adilkhash/7ac372554a33867effc8cc900b9a56d7
тестировал на airflow 2.0 с LocalExecutor и PostgresOperator.
Gist
Apache Airflow Rows Affected Catcher
Apache Airflow Rows Affected Catcher. GitHub Gist: instantly share code, notes, and snippets.
источник
20:41пожаловаться#19

М

Михаил in Airflow
Адиль
привет. расскажи чуть подробнее про контекст использования?
что с этим числом планируется делать в моменте?
Не в моменте, для логирование, сколько и каких записей пришло
источник
21:07пожаловаться#20