Size: a a a

2020 June 29

M

Mikhail in Airflow
то есть только когда сама функция уже выполняется
источник

SG

Sergey Gavrilov in Airflow
Mikhail
в смысле не получится?
Человек хочет, чтобы наличие Переменных проверялось в момент, когда он в даге жмёт "ВКЛ". А это невозможно никак, кроме как в таске проверить
источник

M

Mikhail in Airflow
ну я про это и говорю
источник

SG

Sergey Gavrilov in Airflow
Нет
источник

DM

David Manukian in Airflow
@roveo Я использую кубер оператор, там при инициализации в конструкторе требуется как миниимум: namespace, image, name
источник

SG

Sergey Gavrilov in Airflow
Всё, вопрос снят
источник

SG

Sergey Gavrilov in Airflow
Я тут ничем не могу помочь
источник

DM

David Manukian in Airflow
я сделал кастомный оператор на основе куберовского оператора, следовательно мой оператор в конструкторе принимает эти переменные и кладет в конструктор куберовского
источник

M

Mikhail in Airflow
David Manukian
я сделал кастомный оператор на основе куберовского оператора, следовательно мой оператор в конструкторе принимает эти переменные и кладет в конструктор куберовского
передавайте аргументом в конструкторе имена переменных, а чтение делайте уже на уровне метода execute
источник

DM

David Manukian in Airflow
сорян я не эксперт питона, я уверен что скорее всего я как то криво сделал. Спасибо всем за помощь, щас попробую разобраться с примером выше
источник

DM

David Manukian in Airflow
Mikhail
передавайте аргументом в конструкторе имена переменных, а чтение делайте уже на уровне метода execute
Понял, спасибо
источник

SG

Sergey Gavrilov in Airflow
Mikhail
ну я про это и говорю
Извиняюсь, был не прав
источник

N

Nikita in Airflow
Добрый вечер! Есть кластер, состоящий из шедулера и двух воркеров. Подскажите, пожалуйста, с чем может быть связано то, что даги выполняются в основном на втором воркере? В логах никаких ошибок не нашёл. Должна ли нагрузка балансировать поровну или это происходит в случайном порядке, и такая картина является нормальной?
источник

SG

Sergey Gavrilov in Airflow
Nikita
Добрый вечер! Есть кластер, состоящий из шедулера и двух воркеров. Подскажите, пожалуйста, с чем может быть связано то, что даги выполняются в основном на втором воркере? В логах никаких ошибок не нашёл. Должна ли нагрузка балансировать поровну или это происходит в случайном порядке, и такая картина является нормальной?
У вас же загружено не целиком?
источник

N

Nikita in Airflow
Да, не целиком. Всё-таки, есть какая-то проблема: в Flower ui воркер периодически уходит в offline, но логи сервиса ошибок не содержат
источник

SG

Sergey Gavrilov in Airflow
Nikita
Да, не целиком. Всё-таки, есть какая-то проблема: в Flower ui воркер периодически уходит в offline, но логи сервиса ошибок не содержат
Тогда проблема именно в этом, а не в неравномерной нагрузке
источник

SG

Sergey Gavrilov in Airflow
А у вас есть хэлсчеки?
источник

N

Nikita in Airflow
Вы имеете в виду страничку /health?
источник

SG

Sergey Gavrilov in Airflow
Nikita
Вы имеете в виду страничку /health?
Не, я имею в виду внешний механизм, который проверяет работоспособность воркера
источник

N

Nikita in Airflow
Нет, а есть стандартынй механизм для этого?
источник