Оффлан/онлайн перегон? У нас как сделано - airflow может запускать либо задачи на MS SQL, либо задачи на Clickhouse, либо задачи на сервере спарк. Спарк-задача начинается с загрузки откуда-то данных, а заканчивается тем, что он их куда-то кладёт. Т.е. ставим задачу MS SQL, например, выбрать данные и сложить у себя в отдельную таблицу. Следующий таск - спарк обрабатывает данные, закидывает на hdfs. Следующий таск - Clickhouse забирает данные с hdfs. Следующий - трём данные в hdfs.

То есть, у вас это не про риал-тайм аналитику, правильно?

Кстати, из всех ограничений на текущий момент только знаю, что флоу в облаке можно организовывать в проекты. В локальном шедулере пока нельзя ну и по мелочи недоработки типа url к шедулеру агенту нужно через переменную окружения прописать, что не задокументировано почему-то, а по дефолту был localhost. Где то недавно видел, что в облаке у них в планах тоже предоставить бесплатную подписку. У создателя проблема - он не знает как лучше монетизировать продукт и пока всё идёт к платной поддержке. Если найду линк, то скину.

Дмитрий, а вы airflow использовали?

Онлайн как мне кажется это же не совсем про airflow...