Size: a a a

2020 June 18

O

Oleg in Airflow
локал столько не потянет, там только 1 даг
источник

VS

Vladislav 👻 Shishkov... in Airflow
Oleg
локал столько не потянет, там только 1 даг
не 1
источник

VS

Vladislav 👻 Shishkov... in Airflow
1 только если sqlite
источник

O

Oleg in Airflow
да точно
источник

Д

Дима in Airflow
Vladislav 👻 Shishkov
сразу нафиг
Почему? Чем плохо?
источник

GG

George Gaál in Airflow
Sergey Gavrilov
Я бы не стал использовать аерфлоу для ожидания. Так получается, что какая-нибудь асинхронная приблуда, написанная за неделю, будет работать лучше. А проблемы с расписанием будут и там, и там
+++
источник

VS

Vladislav 👻 Shishkov... in Airflow
одна машина, вы просто не сможете масштабироваться
источник

GG

George Gaál in Airflow
Vladislav 👻 Shishkov
одна машина, вы просто не сможете масштабироваться
+
источник

GG

George Gaál in Airflow
Sergey Gavrilov
Питоновый скрипт лучше чем питоновый скрипт?
питонопроблемы против питнопроблем и эйрфлоу проблем ? ну-ну
источник

GG

George Gaál in Airflow
надо задачу решать максимально простым способом
источник

GG

George Gaál in Airflow
иначе потом отгребешь
источник

VS

Vladislav 👻 Shishkov... in Airflow
потенциально надо сделать следующее:
2 машины под базу для HA
3 машины для брокера для HA
1 машина для шедулера+вебсервер
N машин для воркеров
источник

GG

George Gaál in Airflow
Vladislav 👻 Shishkov
потенциально надо сделать следующее:
2 машины под базу для HA
3 машины для брокера для HA
1 машина для шедулера+вебсервер
N машин для воркеров
+++
источник

Д

Дима in Airflow
Vladislav 👻 Shishkov
потенциально надо сделать следующее:
2 машины под базу для HA
3 машины для брокера для HA
1 машина для шедулера+вебсервер
N машин для воркеров
НА?
источник

GG

George Gaál in Airflow
а еще лучше выкинуть эйрфлоу нах
источник

VS

Vladislav 👻 Shishkov... in Airflow
Дима
НА?
high availability
источник

GG

George Gaál in Airflow
и я не говорю о том, что постгрес на двух узлах не умеет нормально ) а мастер-мастер только в постгрес про и нужно минимум 3
источник

GG

George Gaál in Airflow
я представляю себе что будет если асихнронная реплика не докатится ))))
источник

Д

Дима in Airflow
Vladislav 👻 Shishkov
high availability
Спасибо!!!
источник

VS

Vladislav 👻 Shishkov... in Airflow
можно сделать минимум:
1 машина под базу + куда-нибудь в сторону бекап
1 машина под брокер, брокер с записью на диск + рейд и молиться
1 машина для вебсервера+шедулера+воркера
источник