JS
то есть чистить всё руками? или скриптом из airflow же?
Size: a a a
2018 February 01
JS
через сколько должен "подхватиться" новый DAG
JS
&
JS
?
SS
30 секунд по дефолту вроде
JS
а лог ошибок никак не выводится в web-interface&
JS
?
МС
Неа. Это «нормально». Поможет точно толко рестарт всех компонент + очистка базы.
OI
ошибки выполнения выводятся, внутри дага в разделе logs
а если ошибка при создании дага, то да, только в list_dags
а если ошибка при создании дага, то да, только в list_dags
МС
В логах scheduler можно посмотреть на ошибки создания
OI
👍🏻
не знал)
не знал)
JS
Мда...сыроват...
JS
Коллеги...а кто как ..верней чем синхронизирует выгрузку из таблиц...по, например, полю id
JS
То есть база пополняемая таблицами, называющиеся по дням: 2018_02_01...и так далее...в них пишется ...много
JS
В apache Nifi - есть костыль из коробки
JS
Аля "взять только новые строки"
JS
Цепочка задач...должна по расписанию брать новые строки...что то делать...и складывать в другую базу
OI
Возможно, есть способ получше, но мы такое собираемся через таблицу аудита делать
OI
Ну и можно запилить оператор для инкрементальной загрузки, который скроет всю работу с метаданными.
JS
Возможно, есть способ получше, но мы такое собираемся через таблицу аудита делать
Таблица из названия таблиц их последнего отработанного id и статус