В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1326 membersпожаловаться на группу
2021 May 28

А

Александр in Airflow
Не могу понять почему скейл работает не так как я ожидаю.

Поднял 2 воркера на разных инстансах (их видно в фловер и они растаскивают таски). У каждого воркера стоит конфиг
AIRFLOW__CELERY__WORKER_AUTOSCALE=16,8

Я ожидал что суммарно будет 32 таски выполнятся, по факту 16, причем по 8 тасок на каждый воркер. В чем может быть причина и как это исправить, подскажите, пожалуйста?
источник
15:28пожаловаться#1

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Написать скрипт, который будет с репозитория забирать туда даги
источник
15:29пожаловаться#2

A

Alex in Airflow
или github actions настроить
источник
15:31пожаловаться#3

AM

Aliaksandr Mihailovi... in Airflow
Доброго денЁчка!!!  SFTPOperator для передачи на (с) удаленного сервера, А есть ли оператор для передачи между двумя удаленными серверами?? Или только    SSHOperator  в руки с scp command ????
источник
15:34пожаловаться#4

PA

Panchenko Andrey in Airflow
При формировании
источник
15:35пожаловаться#5

А

Александр in Airflow
кажется понял)
# The number of task instances allowed to run concurrently by the scheduler
# in one DAG. Can be overridden by ``concurrency`` on DAG level.
dag_concurrency = 16
источник
15:36пожаловаться#6

C

Combot in Airflow
Валерия добро пожаловать в русскоязычное комьюнити airflow.
источник
15:54пожаловаться#7

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
И ещё вопрос: airflow, когда ошибка — отправляет письмо.
А есть какая-то функция, чтобы самому письма отправлять, из него.

Ну скажем, функция сделалась там, или ещё что-то, чтобы произвольно отправлять, а не только когда ошибка
источник
16:23пожаловаться#8

ME

Max Efremov in Airflow
on_failure_callback
источник
16:35пожаловаться#9

ME

Max Efremov in Airflow
а, или просто хук на почту?
источник
16:35пожаловаться#10

ME

Max Efremov in Airflow
можно просто на питоне написать код отправки письма)
источник
16:36пожаловаться#11

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Дык зачем, если есть функция в airflow :)
источник
16:44пожаловаться#12

R

Rus in Airflow
источник
16:44пожаловаться#13

AA

Anton Afonin in Airflow
https://airflow.apache.org/docs/apache-airflow/2.1.0/_api/airflow/operators/email_operator/index.html
источник
16:44пожаловаться#14

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Какие-то извращения
источник
16:45пожаловаться#15

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
🙃
источник
16:45пожаловаться#16

R

Rus in Airflow
опробовал. нормальный вариант, спасибо:)
источник
16:51пожаловаться#17

DK

Damir Kuskildin in Airflow
Добрый день. Подскажите как можно отладить функцию. Именно в airflow падает, по логам не понятно в каком моменте. как можно отладить её? если я расставлю принты, где их можно потом посмотреть
источник
16:52пожаловаться#18

R

Rus in Airflow
а зачем ctrl+a нажимать? просто ctrl+d не достаточно?
источник
16:52пожаловаться#19

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
А я не помню, если честно уже, на автомате нажимаю, и топово )
источник
16:52пожаловаться#20