Што?

точно! хотел о нем упомянуть!

Да, так и есть. Нужен больший контроль за тем, кто когда запускать.

Обработка одного объекта проводится сложно с большим кол-вом вызовов разных сервисов, и кажется это как раз хорошо описывается DAG'ом, и как реализован мониторинг в airflow за ходом выполнения, то что нужно.
Возник вот только вопрос с планировщиком. Не очень укладывается в нашу текущую реализацию.

Собственно вопрос про это и был, подходит ли airflow. Спасибо.

Попробуйте nifi выглядит как очень подходящий инструмент

Спасибо, посмотрю.

только если яву хорошо знать(

Да ну

Только готовьтесь к тому, что внедрять его вы будете минимум месяца 2, а потом столько же изучать

мне не хватило прозрачности, иногда что-то не работает, никакой ошибки нет и непонятно вообще, куда смотреть

Вообще не нужно

Ну это к администрированию самого НиФи

ну как — базовое использование загрузить-вставить, да не нужно

а как только шаг в сторону от стандартного функционала, без языка никак

я поэтому ушёл собственно от него

Вот как-то за год использования не возникало кейсов, которые бы не решались стандартными средствами НиФи. Кроме директного удаления файлов с СФТП, но это просто странное.

мне проще работать с костылём на питоне (на базе streamz), который я сам написал и понимаю как он работает, чем с офигенной, но непрозрачной балалайкой

)

ну у вас не возникало, да
а у меня сообщения терялись без всякого репортинга ошибок

просто пропали и всё

куда ушли?