АФ
Тот редкий случай когда наши сделали что то очень хорошееа ты следишь за тем что делают наши в it? кажется что нет
а как лучше всего следить? да и в целом в курсе всего самого нового в IT как быть?
Size: a a a
2020 May 25
A
я ничего дургого не имел ввиду. что за дет. сад
ЕА
а как лучше всего следить? да и в целом в курсе всего самого нового в IT как быть?
ну в целом можно следить за новостями, развитием тех инструментов, которыми пользуешься
A
понятно,
чукча не читатель, чукча - писатель
очень похоже, судя по тому как ты отвечаешь
MV
стриминг прекращается вот с такой ошибкой
2020.05.25 03:13:20.710252 [ 12999 ] {} <Warning> StorageKafka (dau): Logical error. Non all polled messages were processed.
2020.05.25 03:13:20.710282 [ 12999 ] {} <Trace> StorageKafka (dau): Nothing to commit.
Пробовал:
1. Пересоздавать топик в кафке, кафка-table, матвьюхи и таблицу назначения. В итоге спустя несколько часов ошибка повторяется.
2. Читать консьюмером той же версии но на другом хосте, - ошибка не повторяется, и там в течение недели стримится без проблем
20 топиков в этой же базе с этим же источником успешно стримятся.
2020.05.25 03:13:20.710252 [ 12999 ] {} <Warning> StorageKafka (dau): Logical error. Non all polled messages were processed.
2020.05.25 03:13:20.710282 [ 12999 ] {} <Trace> StorageKafka (dau): Nothing to commit.
Пробовал:
1. Пересоздавать топик в кафке, кафка-table, матвьюхи и таблицу назначения. В итоге спустя несколько часов ошибка повторяется.
2. Читать консьюмером той же версии но на другом хосте, - ошибка не повторяется, и там в течение недели стримится без проблем
20 топиков в этой же базе с этим же источником успешно стримятся.
A
Привет. Разобрался я с кликхаус. Во истину крутая бд. Тот редкий случай когда наши сделали что то очень хорошее)) Вот небольшой бенчмарк который я провел) Тесты были на таблицу в 136 миллионов строк. Mysql таблица на движке InnoDB
A
Да, спасибо
VB
Ребят, привет! Кто-то сталкивался с таким?
После попытки выполнить большой зпрос, который не влез в память, заметил что память остаётся занятой и дальше и не особо освобождается. SHOW PROCESSLIST не показывает никаких висящих запросов
После попытки выполнить большой зпрос, который не влез в память, заметил что память остаётся занятой и дальше и не особо освобождается. SHOW PROCESSLIST не показывает никаких висящих запросов
S
Какая именно память?
S
Я про тип buff,cache, res, virtual?
A
Ребят, привет! Кто-то сталкивался с таким?
После попытки выполнить большой зпрос, который не влез в память, заметил что память остаётся занятой и дальше и не особо освобождается. SHOW PROCESSLIST не показывает никаких висящих запросов
После попытки выполнить большой зпрос, который не влез в память, заметил что память остаётся занятой и дальше и не особо освобождается. SHOW PROCESSLIST не показывает никаких висящих запросов
На всякий случай покажите вывод free -g
И
Это известная ситуация, не уверен что это уже починили. https://github.com/ClickHouse/ClickHouse/pull/4277 тут такая же и связанные issue тоже
VB
Я про тип buff,cache, res, virtual?
уф
точно не подскажу, так как нет прямого доступа к прод серверу, только в кх
соберу больше вводных, и если проблема к тому времени не решится — вернусь с ними
спасибо
точно не подскажу, так как нет прямого доступа к прод серверу, только в кх
соберу больше вводных, и если проблема к тому времени не решится — вернусь с ними
спасибо
И
вот еще пример
VB
Это известная ситуация, не уверен что это уже починили. https://github.com/ClickHouse/ClickHouse/pull/4277 тут такая же и связанные issue тоже
о, по ходу мой кейс
S
Нужно знать что это за память, тип. Это может быть buff/cache и это нормально. Он не вычищается, но если систтеме нужно то освобождается.
И
вроде это не буфферы и кэш
VB
Нужно знать что это за память, тип. Это может быть buff/cache и это нормально. Он не вычищается, но если систтеме нужно то освобождается.
ну у меня прям легкие запросы не выполняются — падают по памяти
A
да, тут не кеши