В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

979 membersпожаловаться на группу
2020 October 07

RB

Roman Bakhtaraev in Airflow
Коллеги, приветствую, а поделитесь инфой, кто какой чарт использует для разворачивания airflow с использованием k8s executor? Сам сейчас использую от astronomer
источник
13:39пожаловаться#1

AK

Anvar Khamidov in Airflow
Коллеги, добрый вечер!

Стоит такая подзадача для себя, у меня идет ассинхронная загрузка, там 3 метода питоновских операторов. Мне нужно дождаться загрузки этих операторов, чтобы в дальнейшем пометить в базе данных что загрузка была совершена. Что подскажете делать в таком случае?
источник
20:14пожаловаться#2

AK

Anvar Khamidov in Airflow
я бы мог просто сделать метод по пометке о загрузке, но что если будет  ошибка и я не узнаю о том что все было нормально загружено.

Используется файл и его я помечаю в psql
источник
20:15пожаловаться#3

PA

Panchenko Andrey in Airflow
Селект из базы проверить есть ли там файл или нет
источник
20:20пожаловаться#4

PA

Panchenko Andrey in Airflow
Я так делаю
источник
20:20пожаловаться#5

PA

Panchenko Andrey in Airflow
Сначала пишу в таблицу, потом пишу лог и проверяю лог
источник
20:21пожаловаться#6

PA

Panchenko Andrey in Airflow
Сенсор можно на таблицу повесить
источник
20:21пожаловаться#7

AK

Anvar Khamidov in Airflow
Panchenko Andrey
Сначала пишу в таблицу, потом пишу лог и проверяю лог
в логах пишешь что типо файл используется и после чего чекаешь в нем его?
источник
20:37пожаловаться#8

PA

Panchenko Andrey in Airflow
Пишу в табличку файл с именем таким то строк столько зписан тогда-то
источник
20:38пожаловаться#9

ME

Max Efremov in Airflow
А не проще sql sensor просто?
источник
20:38пожаловаться#10

AK

Anvar Khamidov in Airflow
Panchenko Andrey
Пишу в табличку файл с именем таким то строк столько зписан тогда-то
хмм, идея неплохая, спасибо
источник
20:38пожаловаться#11

AK

Anvar Khamidov in Airflow
Чтобы чекать что все загрузилось и чекать статус, круто, слушай
источник
20:39пожаловаться#12

AK

Anvar Khamidov in Airflow
Max Efremov
А не проще sql sensor просто?
Да, тоже по идее можно, пока не щупал сенсоры
источник
20:39пожаловаться#13

PA

Panchenko Andrey in Airflow
Max Efremov
А не проще sql sensor просто?
Это я тоже предлагал
источник
20:40пожаловаться#14

PA

Panchenko Andrey in Airflow
Max Efremov
А не проще sql sensor просто?
А если много файлов?
источник
20:40пожаловаться#15

PA

Panchenko Andrey in Airflow
Как проверить?
источник
20:40пожаловаться#16

AK

Anvar Khamidov in Airflow
Panchenko Andrey
Это я тоже предлагал
да, спасибо
Пока проектирую схему для использования файлов удобную
источник
20:40пожаловаться#17

ME

Max Efremov in Airflow
Panchenko Andrey
Как проверить?
много сенсоров 😁
источник
20:41пожаловаться#18

AK

Anvar Khamidov in Airflow
пока у меня только файл, который используем и флаг с уведомлением
источник
20:41пожаловаться#19

PA

Panchenko Andrey in Airflow
Max Efremov
много сенсоров 😁
Хорош
источник
20:41пожаловаться#20