В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

928 membersпожаловаться на группу
2020 September 14

VE

Vladimir Elfimov in Airflow
Борис М
и последние 2 вопроса, если можно. Скорее всего есть всякие гит где люди пишут самопильные модули, есть ли централизованный сайт с таким?
Самопильные модули?
Имеется ввиду оператора / сенсоры и тп?
источник
12:47пожаловаться#1

БМ

Борис М in Airflow
Vladimir Elfimov
Самопильные модули?
Имеется ввиду оператора / сенсоры и тп?
Да
источник
12:47пожаловаться#2

VE

Vladimir Elfimov in Airflow
А идея клевая, тоже бы там порылся в какие-то моменты.
источник
12:48пожаловаться#3

АЖ

Андрей Жуков... in Airflow
https://github.com/jghoman/awesome-apache-airflow
GitHub
jghoman/awesome-apache-airflow
Curated list of resources about Apache Airflow. Contribute to jghoman/awesome-apache-airflow development by creating an account on GitHub.
источник
12:49пожаловаться#4

VE

Vladimir Elfimov in Airflow
Андрей Жуков
https://github.com/jghoman/awesome-apache-airflow
GitHub
jghoman/awesome-apache-airflow
Curated list of resources about Apache Airflow. Contribute to jghoman/awesome-apache-airflow development by creating an account on GitHub.
Кайф, спасибо
источник
12:53пожаловаться#5

БМ

Борис М in Airflow
Андрей Жуков
https://github.com/jghoman/awesome-apache-airflow
GitHub
jghoman/awesome-apache-airflow
Curated list of resources about Apache Airflow. Contribute to jghoman/awesome-apache-airflow development by creating an account on GitHub.
Спасибо
источник
12:55пожаловаться#6

ДН

Дмитрий Негреев... in Airflow
Борис М
и последние 2 вопроса, если можно. Скорее всего есть всякие гит где люди пишут самопильные модули, есть ли централизованный сайт с таким?
https://github.com/airflow-plugins/
Есть набор плагинов в репе автономеров, помимо дефолтных операторов от самого airflow.
Но для prod ready решения скорее всего вам либо их форкать и допиливать придётся, либо что-то своё.
GitHub
Airflow Plugins
Hooks, Operators, and Utilities for Apache Airflow, maintained with ❤️ by Astronomer, Inc. - Airflow Plugins
источник
13:07пожаловаться#7

v

vasiliy in Airflow
Коллеги, может кто сталкивался…скедулер в кубере раз в пару дней отваливается по ООМ, по дефолту он лог пишет в tmpfs?(мой косяк, забыл вынести на PV)
источник
13:17пожаловаться#8

Р

Роман in Airflow
Ребята, есть таск с BashOperator, как сделать чтобы при ошибке, все равно таск был успешен?
источник
15:23пожаловаться#9

PA

Panchenko Andrey in Airflow
а почему внутри баша, нельзя этот кондишн прописать?
источник
15:24пожаловаться#10

Р

Роман in Airflow
можно пример?
источник
15:24пожаловаться#11

PA

Panchenko Andrey in Airflow
например:
селект из базы за вчера ничего не возвращает и это уже ошибка, для логики.
можно через пасс реализовать можно явно запринтовать кол-в строк если селект ничего не вернул значит 0 если есть значит х
источник
15:26пожаловаться#12

PA

Panchenko Andrey in Airflow
просто пример
источник
15:26пожаловаться#13

С

Сюткин in Airflow
Panchenko Andrey
например:
селект из базы за вчера ничего не возвращает и это уже ошибка, для логики.
можно через пасс реализовать можно явно запринтовать кол-в строк если селект ничего не вернул значит 0 если есть значит х
Если 0 то можно AirflowSkipException
источник
15:26пожаловаться#14

Р

Роман in Airflow
да я думал есть способ попроще
источник
15:27пожаловаться#15

PA

Panchenko Andrey in Airflow
можно, но я обычно внутри баш и пайтон оператора так оборачиваю и все
источник
15:27пожаловаться#16

АЖ

Андрей Жуков... in Airflow
|| true
источник
15:27пожаловаться#17

АЖ

Андрей Жуков... in Airflow
и все
источник
15:27пожаловаться#18

PA

Panchenko Andrey in Airflow
про эксепшен не знал
источник
15:27пожаловаться#19

АЖ

Андрей Жуков... in Airflow
баш успешен всегда!
источник
15:27пожаловаться#20