vs World

Тут можно долго обсуждать, но там, где уже много инвестировано в какой-то инструмент, уже все работает, есть обученные люди, то бросаться от одного в другое конечно не стоит. В противовес этому для нового проекта не самое разумное игнорировать очень хорошие альтернативы типа Prefect или Flyte от Lyft. Есть вот такая замечательная статья, может быть даже слегка устарела, но суть мне кажется раскрывает https://towardsdatascience.com/is-apache-airflow-good-enough-for-current-data-engineering-needs-c7019b96277d
На всякий случай есть и официальное сравнение, если так можно выразиться, которое наверняка многие читали https://docs.prefect.io/core/getting_started/why-not-airflow.html
Мы же в новом решении, вероятно, будем использовать Google Cloud Composer (чему я не то что бы сильно рад), а пока используем Luigi как legacy от былых времен с которым умеем работать.

Луиджи жесть какое говно. Надо просто уметь готовить airflow

Все относительно. Раз уж такая пьянка, то то же самое можно сказать по отношению к AF, если смотреть со стороны префекта, ну на мой взгляд) Но это глупо сходу так отсекать на чёрное и белое на самом деле.

Когда есть опыт эксплуатации и того, и другого, то это нормально

David Fachini добро пожаловать в русскоязычное комьюнити airflow.

А что такое World - что-то не гугглится

Добрый день. Наблюдается странная ситуация. Имеется сложный SQL, который в датагрипе отрабатывается за 3 минуты. В эирфлоу то же самое содержимое, взятое из ГИТ, не отрабатывает(ждали 10 часов). Может кто сталкивался или есть идеи куда копать?

Соединение поверить.

Что за база?

Креды такие же как и в датагрип?

Соединение есть. Выполняются много скриптов. На этом виснет намертво. Креды не только такие же, прям этого же пользователя в коннекшены засунули.

База postgres

Мистика🤷‍♂️

Время от времени при эксплуатации Postgres'а возникают проблемы, и чем быстрее найдены и устранены источники проблемы, тем благодарнее пользователи. pgCenter это набор CLI утилит которые является мощным средством для выявления и устранения проблем в режиме "здесь и сейчас".

Спасибо🙏

Выглядит как то что где-то не стоит таймаут + всё-таки где-то нет коннекта. Может олдово на саму машину зайти и оттуда в базу сходить?

Так говорят что остальное с этим коннектом и этой базой работает