Size: a a a

2020 November 19

E

Edya in Airflow
Всем, привет!
Кто-нибудь сталкивался с https://github.com/jhuckaby/Cronicle ?
Есть положительные отзывы?
источник

E

Edya in Airflow
Михаил Жиляков
и там появляется хук для кликхауса
попробуйте из питона подключится к КХ через clickhouse_driver
источник

МЖ

Михаил Жиляков... in Airflow
Edya
попробуйте из питона подключится к КХ через clickhouse_driver
Да, такой коннект работает, но там приходится явно прописывать юзера и пароль. Инфо без оставляет желать лучшего. Поэтому мы хотели таскать все данные через хуки и коннекторы, чтобы не светить логины/пароли в коде
источник

E

Edya in Airflow
Михаил Жиляков
Да, такой коннект работает, но там приходится явно прописывать юзера и пароль. Инфо без оставляет желать лучшего. Поэтому мы хотели таскать все данные через хуки и коннекторы, чтобы не светить логины/пароли в коде
в докере? подключаетесь так же https://github.com/whisklabs/airflow-clickhouse-plugin/blob/master/airflow_clickhouse_plugin/hooks/clickhouse_hook.py#L20 ?
еще можно сделать просто коннекшн, и доставить пароли/логины оттуда через BaseHook
источник

МЖ

Михаил Жиляков... in Airflow
Edya
в докере? подключаетесь так же https://github.com/whisklabs/airflow-clickhouse-plugin/blob/master/airflow_clickhouse_plugin/hooks/clickhouse_hook.py#L20 ?
еще можно сделать просто коннекшн, и доставить пароли/логины оттуда через BaseHook
Хмм... хорошо, что-то такое попробую, спасибо
источник

M

Mikhail in Airflow
хей!)
источник

T

Tumchik in Airflow
Mikhail
хей!)
Да, решил опять вернуться, посмотреть как эволюционировал проект)
источник
2020 November 20

А

Антон in Airflow
Аллоха, комрады!
Подскажите пжлст, если поменялся dag_folder, обновит ли Airflow самостоятельно таблицу с дагами?
источник

VS

Vladislav 👻 Shishkov... in Airflow
в рантайме?
источник

А

Антон in Airflow
да
источник

VS

Vladislav 👻 Shishkov... in Airflow
если мне не изменяет память, то новые добавит, а старые не вычистит
источник

А

Антон in Airflow
а как тогда лучше этот момент провести?
источник

VS

Vladislav 👻 Shishkov... in Airflow
да просто старые вычистить потом в базе
источник

A

Anton in Airflow
Всем привет!

Кто-то сталкивался с проблемой когда sheduler не запускает таски по расписанию?
источник

А

Антон in Airflow
а как же тогда быть со стейтами тасок?
источник

KZ

Kirill Zhuravlev in Airflow
Антон
а как же тогда быть со стейтами тасок?
стейты остаются
источник

А

Антон in Airflow
Anton
Всем привет!

Кто-то сталкивался с проблемой когда sheduler не запускает таски по расписанию?
нужно больше вводных
источник

VS

Vladislav 👻 Shishkov... in Airflow
Антон
а как же тогда быть со стейтами тасок?
в рантайме текущие в памяти, а после новые, если будут совпадения
источник

VN

Viacheslav Nefedov in Airflow
господа, никто не запускает флинк (apache flink) из airflow?
источник

A

Anton in Airflow
Например имеется таска с расписанием на выполнение каждый час.

schedule_interval='@hourly'

После замены скрипта на обновленную версию таска перестала отрабатывать каждый час.
источник