Size: a a a

2021 March 16

GB

Georgy Borodin in Airflow
Евгений Кузнецов
учту сей аспект
Так что если переделать нерабочий код, то будет так:
with DAG(...) as dag:
   my_task = PythonOperator(
       task_id='postgres_to_clickhouse',
       python_callable=postgres_to_clickhouse,
   )
источник

ЕК

Евгений Кузнецов... in Airflow
Georgy Borodin
Так что если переделать нерабочий код, то будет так:
with DAG(...) as dag:
   my_task = PythonOperator(
       task_id='postgres_to_clickhouse',
       python_callable=postgres_to_clickhouse,
   )
по-быстрому поправил вот так:
) as dag:
   PythonOperator(
       task_id='postgres_to_clickhouse',
       python_callable=postgres_to_clickhouse,
   )
но ваш вариант выглядит удачнее
источник

ЕК

Евгений Кузнецов... in Airflow
и еще один вопрос из разряда глупых: почему он теперь делает этот таск без остановки и по 16 раз за итерацию?
источник

GB

Georgy Borodin in Airflow
Евгений Кузнецов
и еще один вопрос из разряда глупых: почему он теперь делает этот таск без остановки и по 16 раз за итерацию?
start_date=datetime(2020, 4, 20) – может "нагонять", если включен catchup в конфиге самого airflow. (catchup_by_default называется опция, в секции scheduler). Тогда создастся куча даг ранов, max_active_runs_per_dag = 16 как раз по дефолту

Если в пределах одного даг рана такое происходит – нужно смотреть логи, вариантов много, не свангуешь
источник

P

Pavel in Airflow
Евгений Кузнецов
и еще один вопрос из разряда глупых: почему он теперь делает этот таск без остановки и по 16 раз за итерацию?
Догоняет
источник

N

Nikita Blagodarnyy in Airflow
Почему переменные могут не декриптиться? Подскажите, пож, куда копать. Вместо значения возвращается какая-то лабуда. Опции не шифровать при создании тоже нету.
источник

ЕГ

Евгений Глотов... in Airflow
Nikita Blagodarnyy
Почему переменные могут не декриптиться? Подскажите, пож, куда копать. Вместо значения возвращается какая-то лабуда. Опции не шифровать при создании тоже нету.
Переменные в смысле variables? Они вроде вообще не шифруются, это не для секьюрности объект
А что в переменной (мб русский текст) и как читаете?
источник

ЕГ

Евгений Глотов... in Airflow
Макросом или кодом?
источник

N

Nikita Blagodarnyy in Airflow
Евгений Глотов
Переменные в смысле variables? Они вроде вообще не шифруются, это не для секьюрности объект
А что в переменной (мб русский текст) и как читаете?
Ну да, которые в Admin. Шифруются.
источник

ЕГ

Евгений Глотов... in Airflow
Не видел шифрованных🤔
источник

N

Nikita Blagodarnyy in Airflow
Евгений Глотов
Не видел шифрованных🤔
Какие-то шифрованные, какие-то нет.
источник

N

Nikita Blagodarnyy in Airflow
Евгений Глотов
Макросом или кодом?
В переменной англлийские буквы и цифры. Чтение через from airflow.models import Variable
jar = Variable.get("jar_path")
источник

N

Nikita Blagodarnyy in Airflow
те которые шифрованные выдают какой-то шлак
источник

ЕГ

Евгений Глотов... in Airflow
Хм, вроде как действительно декриптить надо -
From airflow.models import get_fernet

jar_decrypted = get_fernet().decrypt(bytes(jar, "utf-8")).decode()
источник

ЕК

Евгений Кузнецов... in Airflow
Georgy Borodin
start_date=datetime(2020, 4, 20) – может "нагонять", если включен catchup в конфиге самого airflow. (catchup_by_default называется опция, в секции scheduler). Тогда создастся куча даг ранов, max_active_runs_per_dag = 16 как раз по дефолту

Если в пределах одного даг рана такое происходит – нужно смотреть логи, вариантов много, не свангуешь
Спасибо за помощь :)
источник

ЕК

Евгений Кузнецов... in Airflow
Pavel
Догоняет
Спасибо за помощь :)
источник

ЕГ

Евгений Глотов... in Airflow
А вот как настроить, нужно её шифровать или нет🤔
источник

ЕГ

Евгений Глотов... in Airflow
Nikita Blagodarnyy
Какие-то шифрованные, какие-то нет.
А, во, все переменные, созданные после версии 1.9, создаются как зашифрованные
источник

N

Nikita Blagodarnyy in Airflow
Евгений Глотов
Хм, вроде как действительно декриптить надо -
From airflow.models import get_fernet

jar_decrypted = get_fernet().decrypt(bytes(jar, "utf-8")).decode()
не работает этот код. говорит, что нету get_fernet
источник

z

zxyzxy in Airflow
А если открыть в веб интерфейсе, не в списке а как для изменения, там внутри что будет, то что Вы записывали туда или там тоже выглядит как абракадабра?
источник