VS
кто это сравнивает, ничерта не пользовался airflow как etl
Size: a a a
2020 September 14
IL
etl, что аирфлоу не делает?
SG
Зависит от задачи, крч. Добавьте хранение и пандас - в принципе, уже можно обозвать ETL_системой
VS
все сделает в рамках одной таски
M
Ну я поэтому и немного удивился, во многом аирфлоу оч часто упоминают рядом со всякими etl и я думал что он близок к ним, поставил, увидел большую часть того что надо)
вы неправильно думаете про него
обычный етл:
оператор вытаскивания — очередь — оператор загрузки
эйрфлоу:
оператор вытаскивания и загрузки
обычный етл:
оператор вытаскивания — очередь — оператор загрузки
эйрфлоу:
оператор вытаскивания и загрузки
БМ
Зависит от задачи, крч. Добавьте хранение и пандас - в принципе, уже можно обозвать ETL_системой
т.е. просто сувать данные в переменную внутри таска?
VS
вы неправильно думаете про него
обычный етл:
оператор вытаскивания — очередь — оператор загрузки
эйрфлоу:
оператор вытаскивания и загрузки
обычный етл:
оператор вытаскивания — очередь — оператор загрузки
эйрфлоу:
оператор вытаскивания и загрузки
airflow тоже может внутри очередь организовать
SG
меня просто жаба душит как-то тратить на чтение/запись
Оооо... По сравнению со скоростью работы самого шедулера, чтение-писание особо времени не требуют
IL
вы неправильно думаете про него
обычный етл:
оператор вытаскивания — очередь — оператор загрузки
эйрфлоу:
оператор вытаскивания и загрузки
обычный етл:
оператор вытаскивания — очередь — оператор загрузки
эйрфлоу:
оператор вытаскивания и загрузки
чем не аирфлоу)
VS
как я сказал - это все в рамках одной таски, но никто же не хочет в рамках одной таски
EM
Ну я поэтому и немного удивился, во многом аирфлоу оч часто упоминают рядом со всякими etl и я думал что он близок к ним, поставил, увидел большую часть того что надо)
идея в том, что Airflow отделяет построение пайплайнов обработки данных от самих ETL-инструментов. то есть в Airflow описывается что и когда делать, а движок, который будет эти данные таскать в рамках отдельных тасок выбираете сами. если конкретный движок что-то не может - берете другой, а пайплайны при этом продолжаете спокойно лепить в Airflow.
БМ
как я сказал - это все в рамках одной таски, но никто же не хочет в рамках одной таски
конечно, потому что это пахнет костылем ) тебе же между записей и чтением надо что-то сделать с данными)
SG
На самом деле это совсем не костыль, а скорее упущенная зияющая дыра