Так он success, и делает то что должен) сейчас буду пересетапливать все

Using connection to: id: raw_wb_local_db. Host: localhost, Port: 1433, Schema: database, Login: SA, Password: XXXXXXXX, extra: None

На локалхосте у воркера нет базы, наверное

Бд есть, через sqlcmd подключается и выполняет запросы, через pymssql тоже всё ок

Я совсем не понимаю, правильно ли я настраиваю подключение

Кто использует airflow в kubernetes, как вы защищаеиесь от случаев если pod  airflow рестартится, переезжает и т.д?

Выносите таски выполнятся на внешние worker? Если да то какие ? Какие лучше?

привет, а как ты проверял это? Не могу дебагером залезть даже туда

День добрый. Подскажите пожалуйста, есть сенсор
SqlSensor(
             conn_id='Con'
             ,task_id = 'sensor_test'
             ,dag=dag
             ,sql="""select 'X' from table_test
                     """
             ,retries = 40
             ,retry_delay = dt.timedelta(minutes=30)
             ,mode = 'reschedule'
             )
Он работает, но работает криво, проверка идет каждую секунду и количество повторов бесконечное. Что я сделал не так?

таймаут не поставил, наверно

ретраи работают только когда таска в failed переходит

Для расписания пингов сенсора поставь переменную poke_interval и timeout

привет, методом проб и ошибок расставлял брейк поинты, начиная с методов оператора, пока не дошел до методов то ли dag, то ли dagrun класса, там поймал уже подробную ошибку

то есть ты debugExecutor использовал для отладки?

нет, я просто log вызывал в коде)

я начал по такому пути идти, но как-то быстро устал вставлять в код airflow логи и перезапуская все)) ок, спасибо

понимаю твою боль)) тоже страдал долго пока искал))

А кто то использует S3Hook? это норм, что он на каждый запрос создает новый коннект?

и так на каждый метод

aws_acces_key_id странный

Почему странный? Это же логин любой