GB
По идее нет, initdb даг раны не затирает, пулы тоже не трогает, мне просто главное, чтобы кастомные коннекшны не улетели в трубу
Size: a a a
2021 May 12
AC
Ошибка кстати сразу вылетает до запуска дага, имею в виду, что цикл еще не начал отрабатывать
GB
А с этого места поподробнее: обычно такие циклы вне операторов, соответственно, выполняются постоянно, и до запуска даг рана, у тебя не так?
AC
Примерно так:
for task_number in range(events_list.shape[0]):
task_id = f"load_{task_number}_discounts"
df = tmp_df[events_list.index == task_number]
with dag:
PythonOperator(
task_id=task_id,
python_callable=...,
op_kwargs={...},
dag=dag,
task_concurrency=1,
priority_weight=3
)
マサ
А вы сделайте дамп базы и протестируйте )
MC
Всем привет! Это Росбанк. Мы затеяли просветительскую деятельность среди DS’ов. В топчике запросов - “научите работать с Airflow“. Ищем спикера для вводного семинара, на котором прошлись бы по основам, методикам и потрогали лучшие практики.
Можете посоветовать лучших по этой теме? А если вы и есть спикер - го в личку!
Можете посоветовать лучших по этой теме? А если вы и есть спикер - го в личку!
GB
А попробуй вынести цикл внутрь with.
Ну и не советую динамически генерить структуру дагов, это плачевно может закончиться при восстановлении упавших даг ранов
Ну и не советую динамически генерить структуру дагов, это плачевно может закончиться при восстановлении упавших даг ранов
GB
Это-то понятно, уже так делаю, надеялся на коллективное сознательное)
VS
с чего это вдруг?
VS
это просто накатка структуры в базе
GB
Но и накатка дефолтных коннекшнов, правда, оказалось, что старые не удалятся
VS
ааа, вы именно дефолтные использовали - смело
VS
мы такой фигней не занимаемся, очевидно же, что это хреновая практика
GB
Я их не использовал, кроме aws_default (который пустой и берёт всё из окружения, как нам и нужно), они просто висят и мешают дёргать весь вывод коннекшнов)
GB
А про то, что они от лукавого – не спорю)
SC
А точно... Я же базу дропал ... Поэтому и отложилось в памяти
マサ
Главное resetdb вместо initdb не сделайте )
VS
я понял, ща, пытаюсь найти решение
GB
Это не первое моё родео 😂