VS
популярность - легко поднять и поехать на маленьком проекте
Size: a a a
2020 July 27
VS
а вот с готовкой все веселее, когда начинается масштаб
VN
популярность в какой нише и по сравнению с чем? вместо крона удобен
VS
кстати, у меня тут тоже на горизонте миграция с пентахи на airflow, но пока я думаю, как это наиболее безболезнее сделать для разрабов
VS
популярность в какой нише и по сравнению с чем? вместо крона удобен
вместо крона и как "с нуля поднять мини dwh"
VN
мы не используем пентахо, так как быстрее написать всё скриптами. Нагрузка по организации воркфло тогда уходит на планировщик
DT
популярность - легко поднять и поехать на маленьком проекте
Как то сразу не сложилось насчёт быстрого запуска) пока используем конечно, но в связке с другим инструментарием. Аирфлоу только как верхнеуровневый оркестровщик
VN
получается airflow + apache spark и т.д.
VN
т.е. если есть нормальный планировщик и спарк, то вроде пентахо не нужен
DT
Мы взяли префект+даск
VS
т.е. если есть нормальный планировщик и спарк, то вроде пентахо не нужен
это только вроде и если с нуля делать
VN
Мы взяли префект+даск
о! и как, префект работает?
VN
у него вроде планировались ограничения в бесплатной версии
VS
миграция - это чуть сложнее, уже есть состоявшаяся команда, инструмент и опыт, плюс архитектура, спарк не заходит на классические dwh
VS
проблема airflow, очень слабая позиция по поводу организации, визуалицаии и контроля большого воркфлоу, когда у тебя может быть 10000 дагов и каждый как-то зависит от других
DT
о! и как, префект работает?
Очень даже
DT
После ssis и pentaho как глоток свежего воздуха)
VN
ну по сравнению с пентахо по поводу удобства визуализации бы поспорил
VN
Дмитрий, а можете дать скриншот префекта?
DT
Дмитрий, а можете дать скриншот префекта?
Могу, а что именно? Если речь про гуи, то мы начали с версии 0.8 там ещё не было и мы все flow упаковали в докер и пока запускали извне как раз чере айрфлоу. Теперь есть локальная gui/scheduler в планах перенести. Причем совсем на днях добавили хранение flow как код в s3, git. Думаем взять этот подход