➔m
просто расставить метки операторов в датасете, который через оператор прошел?
Size: a a a
2021 February 17
➔m
Я так понимаю, это в основном может пригодиться, если используют хадуп+атлас и хотят смотреть, откуда данные и что с ними что делал, верно понимаю?
GB
просто расставить метки операторов в датасете, который через оператор прошел?
Не использовал, но судя по доке, это внутренняя сущность Airflow, и она существует только в пределах метадб
➔m
Не использовал, но судя по доке, это внутренняя сущность Airflow, и она существует только в пределах метадб
Спасибо
➔m
А по какой причине может быть ситуация, что после вызова
airflow clear -e … dag_id таски не кладутся в очередь и остаются в статусе None? Даг при этом переходит в статус Running, как и предполагается.➔m
В пуле есть слоты, конкаренси и параллелизм позволяют, и тд
GB
А по какой причине может быть ситуация, что после вызова
airflow clear -e … dag_id таски не кладутся в очередь и остаются в статусе None? Даг при этом переходит в статус Running, как и предполагается.Ну вообще есть некоторая задержка между предполагаемым стартом и реальным запуском, потому что есть бутылочное горлышко-шедулер. Бывает прям обидных несколько минут (по идее на >=2.0 решается количеством шедулеров)
➔m
Ну вообще есть некоторая задержка между предполагаемым стартом и реальным запуском, потому что есть бутылочное горлышко-шедулер. Бывает прям обидных несколько минут (по идее на >=2.0 решается количеством шедулеров)
Не, ну там оно зависает в этом состоянии, если не переставить статус у дага
GB
Не, ну там оно зависает в этом состоянии, если не переставить статус у дага
Что в логах шедулера?
➔m
Сейчас попрошу посмотреть, спасибо за идею
➔m
Что в логах шедулера?
Судя по логам, шедулер отдал в воркеру и доволен, а в логах воркера через какое-то время celery executor упал на “
ModuleNotFoundError: No module named 'unusual_prefix_b19c0fca2820747cb2ebdc45b4d3463afe735be0_dag_id’” — но это никуда не пошло дальшеGB
Судя по логам, шедулер отдал в воркеру и доволен, а в логах воркера через какое-то время celery executor упал на “
ModuleNotFoundError: No module named 'unusual_prefix_b19c0fca2820747cb2ebdc45b4d3463afe735be0_dag_id’” — но это никуда не пошло дальшеТогда надо смотреть логи на воркере. Вообще, я видел "unusual_prefix_*" в том, как эирфлоу отдаёт исключения Sentry, но это обычные исключения.
Короче, ModuleNotFound где-то при импорте. Можно пройти по свежеизменённым файлам
Короче, ModuleNotFound где-то при импорте. Можно пройти по свежеизменённым файлам
python <file name>.py, чтобы такие вещи отловить➔m
Тогда надо смотреть логи на воркере. Вообще, я видел "unusual_prefix_*" в том, как эирфлоу отдаёт исключения Sentry, но это обычные исключения.
Короче, ModuleNotFound где-то при импорте. Можно пройти по свежеизменённым файлам
Короче, ModuleNotFound где-то при импорте. Можно пройти по свежеизменённым файлам
python <file name>.py, чтобы такие вещи отловитьСпасибо большое за помощь 🐈
2021 February 18
MZ
Airflow бесплатный?
VS
типа того
ME
Airflow бесплатный?
Он даже open source
MZ
Он даже open source
Круто, а сколько ms sql server стоит?
VS
много
ME
Круто, а сколько ms sql server стоит?
Много, надо офф сайт читать
ME
Там куча разных опций