В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

838 membersпожаловаться на группу
2020 July 02

GG

George Gaál in Airflow
в смысле в Уи кибаны не можешь посмотреть логи ?
источник
21:40пожаловаться#1

A

Aleksandr in Airflow
Не, уай airflow при перезапуске не может подтянуть их из эластика
источник
21:40пожаловаться#2

GG

George Gaál in Airflow
Aleksandr
Не, уай airflow при перезапуске не может подтянуть их из эластика
и не должен
источник
21:44пожаловаться#3

GG

George Gaál in Airflow
я не слышал про обратную интеграцию 🤷‍♂️
источник
21:44пожаловаться#4

A

Aleksandr in Airflow
https://ealebed.github.io/posts/2020/отправка-логов-apache-airflow-в-elasticsearch/
ealebed.github.io
Отправка логов Apache Airflow в Elasticsearch
В одной из предыдущих статей мы рассматривали особенности развертывания Apache Airflow в кластере Kubernetes, а в данном материале поговорим об отправке логов из Airflow в Elasticsearch. Давайте разберемся!
источник
21:46пожаловаться#5

A

Aleksandr in Airflow
источник
21:46пожаловаться#6

A

Aleksandr in Airflow
Я вот тоже не понимаю, ошибка в этом примере или нет.
Просто это строчки конфига для импорта, как я понял
источник
21:48пожаловаться#7

GG

George Gaál in Airflow
ушел читать
источник
21:48пожаловаться#8

GG

George Gaál in Airflow
так, виноват, неправ
источник
21:49пожаловаться#9

GG

George Gaál in Airflow
источник
21:49пожаловаться#10

GG

George Gaál in Airflow
значит, эйрфлоу умеет читать из эластика. Значит, первоочередная вещь - вообще зайти в кибану и посмотреть действительно ли логи есть в эластике
источник
21:49пожаловаться#11

A

Aleksandr in Airflow
George Gaál
Да, вот это меня и побудило на гуглинг
Логи в кибане есть
источник
21:49пожаловаться#12

GG

George Gaál in Airflow
второе - надо убедиться, что эйрфлоу правильные реквизиты для подключения к эластику
источник
21:50пожаловаться#13

GG

George Gaál in Airflow
третья вещь - убедиться в том, что формат логов праивльный
источник
21:50пожаловаться#14

GG

George Gaál in Airflow
я так понимаю, это основной камень преткновения
источник
21:50пожаловаться#15

A

Aleksandr in Airflow
Я вот тоже думаю, что проблема в формате и криворукости, но на всякий случай решил уточнить тут
делал ли кто и получилось ли без особых костылей все сделать

Прост ещё натыкался на интересные коммиты, которые, как мне показалось касаются именно этой проблематики
источник
21:53пожаловаться#16

SO

Simon Osipov in Airflow
https://twitter.com/PiterPy/status/1278739149600800768
Twitter
PiterPy Conference
🗓 3-6 августа 2020 / PiterPy Online Спикер: 👤 Kaxil Naik / Astronomer / United Kingdom. London Тема: 📋 What's new in Airflow 2.0? #PiterPy
источник
23:40пожаловаться#17
2020 July 03

ДН

Дмитрий Негреев... in Airflow
Max Efremov
Как сказать дагу, что при фейле предыдущего не надо запускать новый, а просто остановиться? "depends_on_past": True в default args есть
Max_active_runs=1
источник
04:25пожаловаться#18

NV

Nikita Vladivostok in Airflow
Привет, можно где-нибудь посмотреть расписание выполнений DAG, интересует время следующего запуска?
источник
06:58пожаловаться#19

С

Сюткин in Airflow
Nikita Vladivostok
Привет, можно где-нибудь посмотреть расписание выполнений DAG, интересует время следующего запуска?
Джинджа темплейт
источник
10:42пожаловаться#20