Телеграмм чат группы ruairflow страница 1120

21:00пожаловаться #1

VS

У кластера или в одну ноду? Какой экзекьютер?

21:00пожаловаться #2

VN

Можно рассматривать в рамках одной ноды

21:01пожаловаться #3

VS

Минимальные требования к оборудованию для кластера Apache Airflow - airflow - CodeRoad

Vova Narovchatskiy

https://coderoad.ru/47277180/%D0%9C%D0%B8%D0%BD%D0%B8%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5-%D1%82%D1%80%D0%B5%D0%B1%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D0%BA-%D0%BE%D0%B1%D0%BE%D1%80%D1%83%D0%B4%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8E-%D0%B4%D0%BB%D1%8F-%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B0-Apache-Airflow

Здесь мне показались завышенными цифры

coderoad.ru

У меня не было проблем с использованием очень маленьких экземпляров в псевдо-распределенном режиме (32 параллельных рабочих; Postgres backend): RAM 4096 MB CPU 1000 MHz VCPUs 2 VCPUs Диск 40 GB Если...

В целом +- да, для адекватной работы

21:01пожаловаться #4

VN

Ну, как я думаю, это не минимальные

21:01пожаловаться #5

VN

Других цифр в сети и документации не нашёл

21:02пожаловаться #6

VS

Можно на 2 гигах, но тут спорный момент и зависит от настроек, в дефолте на 30 дагах уже может быть мало

21:03пожаловаться #7

VS

У нас сейчас вебсервер + шедулер переехал на 8 гигов отдельных. Воркеры отдельно. Почти 200 дагов - полет нормальный

21:03пожаловаться #8

VN

А диск на сколько?

21:05пожаловаться #9

ME

Max Efremov in Airflow

А с логами чего делаете локальными?) У нас на 10 дагах прям дофига их)

https://github.com/teamclairvoyant/airflow-maintenance-dags/tree/master/log-cleanup

21:37пожаловаться #10

ВТ

Виктор Титов... in Airflow

Max Efremov

А с логами чего делаете локальными?) У нас на 10 дагах прям дофига их)

GitHub

teamclairvoyant/airflow-maintenance-dags

A series of DAGs/Workflows to help maintain the operation of Airflow - teamclairvoyant/airflow-maintenance-dags

21:51пожаловаться #11

ME

Max Efremov in Airflow

Спасибо, завтра изучу)

21:52пожаловаться #12

ME

Max Efremov in Airflow

Мб попробовать пропушить флаг отключения локальных логов в конфиг попробовать)

21:52пожаловаться #13

DM

https://github.com/teamclairvoyant/airflow-maintenance-dags/tree/master/log-cleanup

Виктор Титов

GitHub

teamclairvoyant/airflow-maintenance-dags

A series of DAGs/Workflows to help maintain the operation of Airflow - teamclairvoyant/airflow-maintenance-dags

Там только есть баг в даге очистки логов

21:52пожаловаться #14

ВТ

Виктор Титов... in Airflow

Dan M.

Там только есть баг в даге очистки логов

Какой?

21:52пожаловаться #15

DM

Там две таска очистки разных логов идут параллельно

21:53пожаловаться #16

DM

И каждый создаёт лок файл

21:53пожаловаться #17

DM

Их в пул с одним слотом надо запихать, чтобы они друг друга не блокировали

21:53пожаловаться #18

DM

Либо более хитрый метод

21:54пожаловаться #19

v

vasiliy in Airflow

Dan M.

Либо более хитрый метод

Дэн а можно вас попросить скинуть кодяру этого дага исправленную?