Size: a a a

ClickHouse не тормозит

2020 June 12

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksii Mylotskyi
Ребята а подскажите что я упускаю. Есть вот такие два запроса я думал что результат должен быть идентичен,  но это не так :(

1. SELECT uniqExact(uniqValue) FROM logs;
возвращает 70 500

2. SELECT sum(cnt) FROM (SELECT count(*) as cnt FROM logs GROUP BY uniqValue);
150000 записей.
SELECT sum(cnt) FROM (SELECT 1 as cnt FROM logs GROUP BY uniqValue);
источник

AS

Andrey Shulenko in ClickHouse не тормозит
Всем привет.
Подскажите, пожалуйста, может ли большое число SHOW CREATE TABLE запросов приводить к "залипанию" ноды clickhouse 19.16.10.44?
Большое число запрос -- от 1000 до 4000 запросов в час.
Залипание проявляется недоступностью порта, повышенным число background тасок, накоплением http коннектов.
LA до 1, потребление памяти штатное
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Shulenko
Всем привет.
Подскажите, пожалуйста, может ли большое число SHOW CREATE TABLE запросов приводить к "залипанию" ноды clickhouse 19.16.10.44?
Большое число запрос -- от 1000 до 4000 запросов в час.
Залипание проявляется недоступностью порта, повышенным число background тасок, накоплением http коннектов.
LA до 1, потребление памяти штатное
необычный сценарий, все возможно,
надо прочитать .sql файл с диска, может какой-то рейс или блокировка

вам зачем такое?
источник

AS

Andrey Shulenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
необычный сценарий, все возможно,
надо прочитать .sql файл с диска, может какой-то рейс или блокировка

вам зачем такое?
для отслеживания метаданных таблиц ноды.
считывание всех метаданных таблиц происходит раз в сутки.

> может какой-то рейс или блокировка
а не подскажите способы выявить блокировку или рейс? В метриках подобная информация есть?
менять log_level ноды до trace не хотелось бы.
источник

PL

Paul Loyd in ClickHouse не тормозит
А какой каноничный способ перевести DateTime64(9) в UInt64 с наносекундами?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Shulenko
для отслеживания метаданных таблиц ноды.
считывание всех метаданных таблиц происходит раз в сутки.

> может какой-то рейс или блокировка
а не подскажите способы выявить блокировку или рейс? В метриках подобная информация есть?
менять log_level ноды до trace не хотелось бы.
я не понял раз в сутки или 4000 тыщи в час?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Paul Loyd
А какой каноничный способ перевести DateTime64(9) в UInt64 с наносекундами?
нету

склеить наверное после конвертации в строку
источник

PL

Paul Loyd in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
нету

склеить наверное после конвертации в строку
Эх, придётся парсить. А может issue видел на тему?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Paul Loyd
Эх, придётся парсить. А может issue видел на тему?
источник

PL

Paul Loyd in ClickHouse не тормозит
спасибо
источник

AS

Andrey Shulenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
я не понял раз в сутки или 4000 тыщи в час?
считывание "скриптом" происходит раз в сутки, идет примерно 3 часа.
за час примерно 4000 запросов SHOW CREATE TABLE, то есть за 3 часа — 12_000
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Shulenko
считывание "скриптом" происходит раз в сутки, идет примерно 3 часа.
за час примерно 4000 запросов SHOW CREATE TABLE, то есть за 3 часа — 12_000
эта версия не саппортится, можно воспроизвести в мастере, и создать issue на гитхабе, в логи не пишется инфомация про мьютексы
источник

AS

Andrey Shulenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
эта версия не саппортится, можно воспроизвести в мастере, и создать issue на гитхабе, в логи не пишется инфомация про мьютексы
в логе по слову mutex ничего не обнаружил
источник

И

Иван in ClickHouse не тормозит
Andrey Shulenko
для отслеживания метаданных таблиц ноды.
считывание всех метаданных таблиц происходит раз в сутки.

> может какой-то рейс или блокировка
а не подскажите способы выявить блокировку или рейс? В метриках подобная информация есть?
менять log_level ноды до trace не хотелось бы.
почему не забрать за 1 запрос с system.tables? или я не понял вопроса?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrey Shulenko
в логе по слову mutex ничего не обнаружил
я так и сказал
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Иван
почему не забрать за 1 запрос с system.tables? или я не понял вопроса?
ну это примерно тоже самое, если обращаться к полю create_table_query , будет поход на диск за .sql
источник

И

Иван in ClickHouse не тормозит
но запрос будет 1, оверхеда на результат суммарно будет меньше
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
ну сценарий вообще странный, проще вообще не читать метаданные, тупо сохранить в таблицу версию схемы
источник

AS

Andrey Shulenko in ClickHouse не тормозит
подумал, что это вопрос)
спасибо
источник

AS

Andrey Shulenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну сценарий вообще странный, проще вообще не читать метаданные, тупо сохранить в таблицу версию схемы
пересмотрю схему забора данных, да

> сохранить в таблицу версию схемы
при создании?
источник