SS
мне думается. что проблема не в JDBCOperatork/JDBCHook от Airflow, а в связке JDBC-<ваша-процедура>.
Size: a a a
2018 May 11
SS
не пробывал
дерзайте!
YK
спасибо за совет, буду пробывать
2018 May 12
МС
Добрый вечер. Меня тут озадачили вопросом - потянет ли Airflow 2000 дагов. У кого нибудь есть опыт запуска большого количества дагов?
У нас просто их всего порядка 50.
У нас просто их всего порядка 50.
ДС
200 с копейками
МС
Нет. Скорее стандартизировать часть процессов. А там 2000 сущностей :)
МС
Я пока не вникал в смысл процесса. Может они там группируются.
МС
Стало интересно кто какие подводные камни видит.
SS
БД метаданных нужно тюнить
SS
фейловер шедулера делать
SS
ни в коем случае не пиклить таски
SS
ну и садить админа на поддержку этого добра
МС
А БД то зачем тюнить?
МС
Даже если эти две тысячи запустятся разом то ну будет 2k строк. Для постгри не проблема же
2018 May 14
VS
Добрый вечер. Меня тут озадачили вопросом - потянет ли Airflow 2000 дагов. У кого нибудь есть опыт запуска большого количества дагов?
У нас просто их всего порядка 50.
У нас просто их всего порядка 50.
Не тянет по визуализации точно, плюс стабильность оставляет желать лучшего
G
Коллеги, пытаюсь загрузить на стейджинг зону большую таблицу из источника. Оператор сперва выполняет SQL-запрос к источнику, копируя результат в оперативную память, как я понимаю. Но памяти у него не хватает и таск фейлится. Подскажите, какие есть правильные способы решения этой проблемы?
SS
если таблица партиционирована на источнике, то качайте ее по частям-партициям
SS
я стараюсь такие перекачки делать в 3 этапа:
1) выгрузить на источнике в дамп (CSV, например)
2) перенести по scp с источника на приемник
3) загрузить дамп в стейджинг приемника
1) выгрузить на источнике в дамп (CSV, например)
2) перенести по scp с источника на приемник
3) загрузить дамп в стейджинг приемника
OI
Если стандартный опертор грузит все в память, то надо написать свой, который будет выгружать блоками по N строк и складывать файл на сервере airflow, затем писать в целевую базу