Size: a a a

ClickHouse не тормозит

2020 September 14

D

Dj in ClickHouse не тормозит
krn p
Тоже попробую, уже ушёл с работы ))
надеюсь не уволили из-за неумения работать с трансмассивами =)
источник

l

lnuynxa in ClickHouse не тормозит
SELECT     arrayFilter((x,y) -> (x.1 != y), [('a', 1), ('a', 2), ('c', 3), ('a', 2)] as arr,arrayPushFront(arrayPopBack(arr.1),'-1')) AS v,      [('a', 1), ('c', 3), ('a', 2)] AS expected_v;


┌─v─────────────────────────┬─expected_v────────────────┐
│ [('a',1),('c',3),('a',2)] │ [('a',1),('c',3),('a',2)] │
└───────────────────────────┴───────────────────────────┘
Или нужно еще собрать в подмассивы?
источник

М

Максим in ClickHouse не тормозит
lnuynxa
SELECT     arrayFilter((x,y) -> (x.1 != y), [('a', 1), ('a', 2), ('c', 3), ('a', 2)] as arr,arrayPushFront(arrayPopBack(arr.1),'-1')) AS v,      [('a', 1), ('c', 3), ('a', 2)] AS expected_v;


┌─v─────────────────────────┬─expected_v────────────────┐
│ [('a',1),('c',3),('a',2)] │ [('a',1),('c',3),('a',2)] │
└───────────────────────────┴───────────────────────────┘
Или нужно еще собрать в подмассивы?
Спасибо! то что надо
источник

S

Slach in ClickHouse не тормозит
Андрей Романов
В версии 20.6.6.7 поймал такой момент, что способом описанным в документации, можно загрузить только один файл


При вставке следующих падает ошибка thrift, что не получается прочесть данные.

Решил тем, что через parquet-tools объединил всё в один файл

подскажите, нужно ли об этом куда-либо сообщить?

могу прикрепить файлы и схему таблицы, куда вставлял
issue на github откройте, детально опишите запросы которые делаете в какой последовательности и какую ошибку выдает
источник

-

-_- in ClickHouse не тормозит
Добрый день, коллеги. Есть ли какой-нибудь how-to  типичных задач, например, чтобы избавиться от join- ов как массово перекинуть (продублировать) данные из нескольких таблиц в одну?
источник

-

-_- in ClickHouse не тормозит
Понимаю, что в идеале изначально правильно помещать метрики
источник

AK

Alex Krash in ClickHouse не тормозит
-_-
Добрый день, коллеги. Есть ли какой-нибудь how-to  типичных задач, например, чтобы избавиться от join- ов как массово перекинуть (продублировать) данные из нескольких таблиц в одну?
Можно сделать summingmerge tree с определённым первичным ключом. Затем туда вставить записи из нескольких таблиц, и вызвать optimize table final + settings optimize_throw_noop=1 (точное название настройки загуглите). После этого упражнения строки должны схлопнуться, и вы получите результат join. Работает, если по одному ключу соединения ожидается одна строка.
источник

FP

Fedor Pavlov in ClickHouse не тормозит
Добрый день.
Подскажите сильно ли фактически clickHouse нагружает процессор?
ситуация такова что нагрузка на процессоре Intel Gold 6140 (18x2.3 ГГц HT) стабильно 60% и пиково в некоторые моменты времени поднимается до 100%
количество запросов порядка 40 в минуту.
Может есть какието методы оптимизации?
источник

И

Иван in ClickHouse не тормозит
Fedor Pavlov
Добрый день.
Подскажите сильно ли фактически clickHouse нагружает процессор?
ситуация такова что нагрузка на процессоре Intel Gold 6140 (18x2.3 ГГц HT) стабильно 60% и пиково в некоторые моменты времени поднимается до 100%
количество запросов порядка 40 в минуту.
Может есть какието методы оптимизации?
Имхо он утилизирует всю доступную железку даже в пределах 1 запроса, если ему представляется такая возможность (квоты например могут ограничивать выполнение запросов). Либо я что-то не понимаю, либо это не является проблемой?
источник

FP

Fedor Pavlov in ClickHouse не тормозит
проблемы в моменты 100% нагрузки. время работы системы замедляется. т.е. увеличивается время выполнения запросов
источник

S

Slach in ClickHouse не тормозит
Fedor Pavlov
Добрый день.
Подскажите сильно ли фактически clickHouse нагружает процессор?
ситуация такова что нагрузка на процессоре Intel Gold 6140 (18x2.3 ГГц HT) стабильно 60% и пиково в некоторые моменты времени поднимается до 100%
количество запросов порядка 40 в минуту.
Может есть какието методы оптимизации?
max_threads посмотрите в моменте какой
можно query_log включить и там будет
ну и system.settings
источник

S

Slach in ClickHouse не тормозит
Fedor Pavlov
Добрый день.
Подскажите сильно ли фактически clickHouse нагружает процессор?
ситуация такова что нагрузка на процессоре Intel Gold 6140 (18x2.3 ГГц HT) стабильно 60% и пиково в некоторые моменты времени поднимается до 100%
количество запросов порядка 40 в минуту.
Может есть какието методы оптимизации?
сервер железный или виртуалка в облаке?
источник

FP

Fedor Pavlov in ClickHouse не тормозит
железный
источник

S

Slach in ClickHouse не тормозит
Fedor Pavlov
Добрый день.
Подскажите сильно ли фактически clickHouse нагружает процессор?
ситуация такова что нагрузка на процессоре Intel Gold 6140 (18x2.3 ГГц HT) стабильно 60% и пиково в некоторые моменты времени поднимается до 100%
количество запросов порядка 40 в минуту.
Может есть какието методы оптимизации?
если сервер железный, смотрите профили cpu governor
https://ixnfo.com/izmenenie-cpu-scaling-governor-v-linux.html
источник

S

Slach in ClickHouse не тормозит
ну и мониторинг температуры CPU \ Дисков включите. посмотрите
источник

S

Slach in ClickHouse не тормозит
у меня например был случай когда поставили железные сервера в стойку для комутационного оборудования, без обдува и закрыли дверь
и они там в серверной +18
а внутри стойки +35 ... и всем похх =) а у меня винты дохли  и CPU тротлился
источник

FP

Fedor Pavlov in ClickHouse не тормозит
спасибо, проверю
источник

FP

Fedor Pavlov in ClickHouse не тормозит
то что запрос читает до 150 МБ это нормально? или надо оптимизировать?
источник

FP

Fedor Pavlov in ClickHouse не тормозит
memory_usage иногда до 70 МБ
источник

FP

Fedor Pavlov in ClickHouse не тормозит
время выполнения запроса 0,01-0,05 сек
источник