Size: a a a

2020 September 14

M

Mikhail in Airflow
Но супер минимальная
источник

SG

Sergey Gavrilov in Airflow
Vladislav 👻 Shishkov
Суровая реальность
Надо аккуратнее
источник

VS

Vladislav 👻 Shishkov... in Airflow
ну да, но одна из главных тонкостей, что самодостаточны не даги, а таски
источник

VS

Vladislav 👻 Shishkov... in Airflow
а значит, чтобы передать что-то из таска в таск, нужно промежуточное звено хранения
источник

SG

Sergey Gavrilov in Airflow
И связь между ними из коробки только через x-com, которые тоже не очень интуитивно понимаемы
источник

VS

Vladislav 👻 Shishkov... in Airflow
не только x-com
источник

VS

Vladislav 👻 Shishkov... in Airflow
и x-com не для этого
источник

SG

Sergey Gavrilov in Airflow
Vladislav 👻 Shishkov
и x-com не для этого
Чаще всего хватает
источник

VS

Vladislav 👻 Shishkov... in Airflow
я хз, как вам может хватать x-com, когда классический etl инструмент работает с потоком, который вы скачали
источник

VS

Vladislav 👻 Shishkov... in Airflow
если вам надо тянуть миллионы/миллиарды записей - то ни о каком x-com речи не может и быть
источник

SG

Sergey Gavrilov in Airflow
Очень редко это нужно
источник

VS

Vladislav 👻 Shishkov... in Airflow
как бы etl подразумевает это
источник

БМ

Борис М in Airflow
Vladislav 👻 Shishkov
а значит, чтобы передать что-то из таска в таск, нужно промежуточное звено хранения
да
источник

VS

Vladislav 👻 Shishkov... in Airflow
на то он и ETL
источник

БМ

Борис М in Airflow
вроде как из коробки есть почти все
источник

БМ

Борис М in Airflow
Vladislav 👻 Shishkov
не только x-com
а чем еще?
источник

VS

Vladislav 👻 Shishkov... in Airflow
любым промежуточным хранением
источник

SG

Sergey Gavrilov in Airflow
Борис М
а чем еще?
По-моему, там отсылка была про то, что многие вещи интуитивно непонятны
источник

БМ

Борис М in Airflow
Ну я поэтому и немного удивился, во многом аирфлоу оч часто упоминают рядом со всякими etl и я думал что он близок к ним, поставил, увидел большую часть того что надо)
источник

БМ

Борис М in Airflow
из коробк
источник