Size: a a a

2021 May 24

VS

Vladislav 👻 Shishkov... in Airflow
Отдельное выделение ресурсов
источник

ФЧ

Филипп Чистяков... in Airflow
Да именно то что нужно) +
источник

AM

Artem Miklin in Airflow
Подскажите, пожалуйста
Из-за чего таски из 2х дагранов ИНОГДА могут выполняться в указанной последовательности 1-2-3-4, вместо ожидаемой 1-3-2-4

(все таски в одном пуле с абсолютным weight_rule, но разными весами)
источник

S

Shadle in Airflow
подскажите пожалуйста в чем дело?
бд постгрес
источник

S

Shadle in Airflow
источник

S

Shadle in Airflow
вроде правильно форматирую строку
источник

ММ

Максим Мартынов... in Airflow
строка с форматом за пределами экрана, непонятно что там
источник

N

Nikolay in Airflow
Чтобы получить гарантированную последовательность 1-3-2-4 надо выставить max_active_runs в 1, чтобы параллельно второй run не запускался.
источник

AM

Artem Miklin in Airflow
Мне надо max_active_runs=2, чтобы была гарантированно 1-3-2-4, затем остальные таски из первого даграна
источник

N

Nikolay in Airflow
Но есть нормальная идемпотентность и изолированность, то это органичение должно быть лишним.
источник

N

Nikolay in Airflow
Тогда надо сам граф делать чтобы это было в его структуре
источник
2021 May 25

SZ

Sergey Zhuravlev in Airflow
Привет. Может кто поделиться - хочу сделать аналитический дашборд в grafana по отработаным таскам, чтобы было наглядно видно отработанные задачи, упавшие, в работе и т.д. Есть ли готовое решение или придется ручками пилить? Видел в маркете графаны дашборд, но он про нагрузку, а не про логи тасок. Если есть что то подобное не на графане тоже с удовольствием послушаю.
источник

VS

Vladislav 👻 Shishkov... in Airflow
Вебсервер airflow
источник

SZ

Sergey Zhuravlev in Airflow
Заказчику не подходит)
источник

AA

Anton Afonin in Airflow
Вебсервер всё из базы метаданных берёт, вроде не должно быть особых проблем для графаны оттуда же брать
источник

SZ

Sergey Zhuravlev in Airflow
ДА проблем нет кроме лени)
источник

SZ

Sergey Zhuravlev in Airflow
Вот что то подобное нашел https://github.com/databand-ai/airflow-dashboards
источник

マサ

マキシム サモイロフ... in Airflow
Всем привет. Разбираюсь в airflow 2.x, возник вопрос — сейчас весь контриб вынесли в отдельные пакеты, для некоторых из них есть backport версии. Например: https://pypi.org/project/apache-airflow-backport-providers-google/ и https://pypi.org/project/apache-airflow-providers-google/
Чем эти пакеты отличаются? В сети не нашел ответа
источник

GB

Georgy Borodin in Airflow
Тем, что они работают с Airflow 1.x версий, предоставляя те же возможности, что и в своей версии для 2.x.
Для 2.x они не нужны
источник

RF

Ruslan Fialkovsky in Airflow
Всем привет. Подскажите пожалуйста(кто знает) как указать недефолтный порт для подключения к postgres в режиме multiple hosts?
источник