ИХ
Здарова.
Кто нить прикркчивал cwl к airflow?
Кто нить прикркчивал cwl к airflow?
Size: a a a
2020 August 07
ИХ
Где можно примерчики посмотреть?
AM
Да, например в PythonOperator открывать два соединения и последовательно вычитывать данные. Только надо помнить что курсоры бывают как локальные так и удаленные (в самой бд). Например для posgtesql надо дать имя курсору (иначе он все равно будет все выгружать)
Спасибо, помогло. Выгружал в поток и загружал через limit и offset
NS
Спасибо, помогло. Выгружал в поток и загружал через limit и offset
Вот на всякий случай вариант выгрузки из postgresql в postgresql через курсор (без limit/offset) https://pastebin.com/K340Btnc
AM
Вот на всякий случай вариант выгрузки из postgresql в postgresql через курсор (без limit/offset) https://pastebin.com/K340Btnc
👍🙏 Спасибо. То что нужно.
DS
Товарищи, а можно как-то получить connection за пределами дага? Например, запуская код ssh operator на другой ноде?
Может напрямую из базы?
DA
Может напрямую из базы?
К базе же тоже коннект нужно тогда где-то хранить?
DS
Конфиг?)
ME
Можно секрет сторадж)
ME
а вот креды к нему уже в конфиге)
ME
Так, по времени алертов, одного времени старта и одного времени окончания всем хватит?
ME
тип start_22_end_7
ME
start_1_end_12
2020 August 08
PA
Всем привет.
есть вопрос по работе с futures.
Airflow 1.10.10 на отдельной тачке.
хочу запускать парелельно по 4 таски.
но по итогу у меня все работает но очень дольго, еще не отработал пайтон оператор локально эта же задача работает за 4-ре минуты.
может кто подсказать в чем дело?
Экзекутор у меня Локал
есть вопрос по работе с futures.
Airflow 1.10.10 на отдельной тачке.
хочу запускать парелельно по 4 таски.
но по итогу у меня все работает но очень дольго, еще не отработал пайтон оператор локально эта же задача работает за 4-ре минуты.
может кто подсказать в чем дело?
Экзекутор у меня Локал