ME
и те и те
Size: a a a
2020 July 17
ME
возможно ещё недопилили
2020 July 18
GG
А на диске может место кончиться под логи 🤷♂
GG
Все что угодно может свалиться где угодно
ME
ну вот например, чиститься файл - нужно залогировать сколько строк было изначально, сколько повторов, сколько некорректных строк и тд
Можно через s3hook сделать файл лога на s3
ME
Если база может быть недоступна, можно поднять кластер кафки и писать в кафку, например
ME
Или касандру, чтобы именно кластер был, который разом не свалится (ну, в теории :) )
BB
А на диске может место кончиться под логи 🤷♂
Место мониториться
BB
Если база может быть недоступна, можно поднять кластер кафки и писать в кафку, например
Да, в Кафку и буду , спасибо .
2020 July 20
L
Всем привет!
Может, кто сталкивался с такой проблемой:
Есть постгрес оператор, который выполняет запрос в базу. Сам запрос отрабатывает за несколько секунд. Но даг на нем виснет и запрос не выполняется. При этом несколько проходов по дагу все может быть хорошо, а потом в какой-то рандомный проход виснет.
При этом никакой ошибки нет. Таск находится в состоянии running.
Может, кто сталкивался с такой проблемой:
Есть постгрес оператор, который выполняет запрос в базу. Сам запрос отрабатывает за несколько секунд. Но даг на нем виснет и запрос не выполняется. При этом несколько проходов по дагу все может быть хорошо, а потом в какой-то рандомный проход виснет.
При этом никакой ошибки нет. Таск находится в состоянии running.
Если много памяти жрет оператор может шедулер, например, на пиках памяти умирать
АБ
Lexis
Если много памяти жрет оператор может шедулер, например, на пиках памяти умирать
Он вообще на аирфлоу ничего не загружает. Просто шлёт запрос insert ... select ... ;
L
Он вообще на аирфлоу ничего не загружает. Просто шлёт запрос insert ... select ... ;
ну у меня похожее было когда системные ошибки происходили типа нехватает памяти или места на диске (для логов)
АБ
Спасибо, посмотрю в эту сторону.
2020 July 21
K
уже два года ору от этой штуки
ME
А что тут не верно? То, что рандомный коннекшен берёт?