Size: a a a

ClickHouse не тормозит

2020 June 29

Н

Николай in ClickHouse не тормозит
Igor Reva
Есть Distributed таблица, которая смотрит на две ReplacingMergeTree.
После вставки записей запускаю команду OPTIMIZE TABLE name FINAL; на каждую из таблиц ReplacingMergeTree. Жду пока завершится процедура.
Получаю общее кол-во записей из распределенной таблицы без FINAL, а после с FINAL. Кол-во записей отличается. Я думал, что команда OPTIMIZE выполняет слияние данных и удаляются дубли из таблиц ReplacingMergeTree.
Но этого не происходит или я туплю. Подскажите пожалуйста.
Она вроде не сразу работает, в какой-то неизвестный момент времени, но я не уверен, что говорю правильно
источник

ММ

Михаил Мельников... in ClickHouse не тормозит
Доброе утро, коллеги. Подскажите, пожалуйста, где можно посмотреть и изменить таймаут для движка URL?
источник

IR

Igor Reva in ClickHouse не тормозит
Shazo
Не совсем понятно, что именно не так? Дубли не удалились после FINAL?
ага, после слияния данных дубли должны были удалиться. А они остались.
источник

IR

Igor Reva in ClickHouse не тормозит
Николай
Она вроде не сразу работает, в какой-то неизвестный момент времени, но я не уверен, что говорю правильно
Верно, но я вызвал вручную через OPTIMIZE TABLE name FINAL;
источник

S

Shazo in ClickHouse не тормозит
Igor Reva
ага, после слияния данных дубли должны были удалиться. А они остались.
дубликаты в разных партциях или в одной?
источник

IR

Igor Reva in ClickHouse не тормозит
в разных
источник

IR

Igor Reva in ClickHouse не тормозит
Таблица имеет всего две партиции и в обоих есть дубли.
источник

AK

Andrew Kochen in ClickHouse не тормозит
Подскажите, пожалуйста, как можно посмотреть, на что КХ кушает память?
Несколько дней назад потребление подскочило прилично и держится, как можно понять - почему?
источник

RO

Required Optional in ClickHouse не тормозит
Доброго, коллеги! Я так понимаю неяндексовые боты спят? У меня вопрос про индексы, если кто сможет помочь, то я буду благодарен. Вопрос: у меня есть примари ключ, который по умолчанию из секции ордер бай. Есть запросы, которые включают еще пару полей типа инт64 (хэш 63 бита) и короткий инт с двумя значениями. Здешние кулибины предлагают блум фильтер с примари ключем и этими двумя полями и гранулярностьб в 1. Я же пользуясь подходами элементарной логики и интуиции предпологаю, что достаточно добавить на каждое дополнительное поле по индексу типа минмакса и это будет более оптимально с точки зрения использования ресурсов и скорости. Помогите понять ошибаюсь ли я и где?
источник

S

Shazo in ClickHouse не тормозит
Igor Reva
Таблица имеет всего две партиции и в обоих есть дубли.
А optimize точно отрабатывает?

Если запустить

set optimize_throw_if_noop = 1;
OPTIMIZE TABLE tbl FINAL;

?
источник

RO

Required Optional in ClickHouse не тормозит
Andrew Kochen
Подскажите, пожалуйста, как можно посмотреть, на что КХ кушает память?
Несколько дней назад потребление подскочило прилично и держится, как можно понять - почему?
в system.query_log
источник

AK

Andrew Kochen in ClickHouse не тормозит
Required Optional
в system.query_log
там все ок, аномалий не замечено..
источник

RO

Required Optional in ClickHouse не тормозит
каждый запрос там логится - сколько брал пиковое использование памяти. Возможно есть много мелких вставок, которые ведут к мержам и т.д.
источник

RO

Required Optional in ClickHouse не тормозит
кластер?
источник

RO

Required Optional in ClickHouse не тормозит
тогда логи в дебаг и зукипер если система распределенная
источник

S

Shazo in ClickHouse не тормозит
Andrew Kochen
Подскажите, пожалуйста, как можно посмотреть, на что КХ кушает память?
Несколько дней назад потребление подскочило прилично и держится, как можно понять - почему?
на всякий случай уточню, а какой именно показатель памяти подскочил - не cached?
источник

AK

Andrew Kochen in ClickHouse не тормозит
У нас мониторинг в принципе на уровне ОСи, - видно, что оперативка подскочила. Вот хочу посмотреть, конкретно что подскочило...
источник

S

Shazo in ClickHouse не тормозит
Это не ответ на вопрос) Память бывает разная. Если подскочил показатель cached это вполне нормально.
источник

D

Dj in ClickHouse не тормозит
Igor Reva
Таблица имеет всего две партиции и в обоих есть дубли.
так если у вас дубли между партициями, оно и не должно работать... в вашем случае это только SELECT ... FINAL использовать
источник

AK

Andrew Kochen in ClickHouse не тормозит
Shazo
Это не ответ на вопрос) Память бывает разная. Если подскочил показатель cached это вполне нормально.
"clickhouse mem rss" :)
источник