В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

4400 membersпожаловаться на группу
2020 September 13

АР

Артем Разуваев... in ClickHouse не тормозит
Товарищи а это норм что в клик очень долго данные заливаются?
client.execute("insert into storage.newData(field1,field2) values (\'{}\',\'{}\')".format(key, value))
таблица на движке ReplacingMergeTree()
операция insert занимает 16-18мс

Сейчас гружу миллион записей через питон, тупо в цикле по одному исерту передаю записи.
Наверно я что то делаю не так )
Может надо как то целиком ему файлы скармливать?
источник
17:23пожаловаться#1

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
ожидаемо диски задыхаются, очередь мелких дисковых операций (создание тысяч файлов для 50 партов), 100% утилизации, дичайший await

компактные парты конечно помогут (NVME диски тоже), но в любом случае 50 MV это ужасный дизайн и неправильно
это временное извращение, которое работает и дает нам время построить систему, у нас тут свои трудности, и вот пришлось один немелкий проект перетащить, при чем с починкой парсинга из основной таблицы, ну, если, лучше не сделать, тогда, ок, смиряемся с этим
источник
17:24пожаловаться#2

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Артем Разуваев
Товарищи а это норм что в клик очень долго данные заливаются?
client.execute("insert into storage.newData(field1,field2) values (\'{}\',\'{}\')".format(key, value))
таблица на движке ReplacingMergeTree()
операция insert занимает 16-18мс

Сейчас гружу миллион записей через питон, тупо в цикле по одному исерту передаю записи.
Наверно я что то делаю не так )
Может надо как то целиком ему файлы скармливать?
целиком, по сто тысяч записей в одном инсерт
источник
17:24пожаловаться#3

АР

Артем Разуваев... in ClickHouse не тормозит
О!
источник
17:24пожаловаться#4

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
это временное извращение, которое работает и дает нам время построить систему, у нас тут свои трудности, и вот пришлось один немелкий проект перетащить, при чем с починкой парсинга из основной таблицы, ну, если, лучше не сделать, тогда, ок, смиряемся с этим
возьмите NVME и компактные парты
источник
17:25пожаловаться#5

АР

Артем Разуваев... in ClickHouse не тормозит
А то ноут щас расплавится )))
источник
17:25пожаловаться#6

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
возьмите NVME и компактные парты
другие диски мы уже взять не сможем, а по поводу компактных партов - можно по-подробнее?
источник
17:25пожаловаться#7

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
другие диски мы уже взять не сможем, а по поводу компактных партов - можно по-подробнее?
https://youtu.be/QQSCn6nbyN8?t=3795
источник
17:28пожаловаться#8

D

Dj in ClickHouse не тормозит
Екатерина
другие диски мы уже взять не сможем, а по поводу компактных партов - можно по-подробнее?
Формат хранения определяется настройками движка min_bytes_for_wide_part и min_rows_for_wide_part. Если число байт или строк в куске данных меньше значения, указанного в соответствующей настройке, тогда этот кусок данных хранится в формате Compact. В противном случае кусок данных хранится в формате Wide. Если ни одна из настроек не задана, куски данных хранятся в формате Wide.
источник
17:29пожаловаться#9

DC

Denny Crane [not a Y... in ClickHouse не тормозит
таблицу пересоздавать не нужно, можно добавить min_bytes_for_wide_part альтером потаблично, либо на весь сервер сразу
источник
17:30пожаловаться#10

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
таблицу пересоздавать не нужно, можно добавить min_bytes_for_wide_part альтером потаблично, либо на весь сервер сразу
это как-то влияет на дальнейшую работу - формат Compact?
источник
17:31пожаловаться#11

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
это как-то влияет на дальнейшую работу - формат Compact?
как-то влияет, но вам с util = 100% хуже уже не будет
источник
17:33пожаловаться#12

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
как-то влияет, но вам с util = 100% хуже уже не будет
а запросы потом по этим данным будут медленнее?
источник
17:33пожаловаться#13

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Екатерина
а запросы потом по этим данным будут медленнее?
первый же мерж их пережмет в широкий формат

запросы будут медленее к этим еще несмерженным партам, но у вас util 100%, если вы его уменьшите за счет компактных партов, то ваши селекты ускорятся
источник
17:35пожаловаться#14

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
первый же мерж их пережмет в широкий формат

запросы будут медленее к этим еще несмерженным партам, но у вас util 100%, если вы его уменьшите за счет компактных партов, то ваши селекты ускорятся
ага, хорошо, попробуем, спасибо!
источник
17:36пожаловаться#15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
но в любом случае 50 MV это не бигдата и не КХ
источник
17:37пожаловаться#16

Е

Екатерина in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
но в любом случае 50 MV это не бигдата и не КХ
мы знаем, нам очень стыдно, но пришлось так сделать, скоро все поменяем, у нас нетолько CH будет
источник
17:37пожаловаться#17

kp

krn p in ClickHouse не тормозит
всем привет.
дергаю из словаря строку, которая была массивом строк, пока не сменила гендер 😄
[1, 2, 3] --строка есичо
нужно внутри этой строки найти совпадения с массивом нормального гендера.
что -то вроде
hasAny(JSONExtractArrayRaw('[1,2,3]'), [1])
проблема в том, что этой функции в моей версии кликхауса (19.7.3) нету.
вопрос: как это можно провернуть?
источник
18:55пожаловаться#18

D

Dj in ClickHouse не тормозит
krn p
всем привет.
дергаю из словаря строку, которая была массивом строк, пока не сменила гендер 😄
[1, 2, 3] --строка есичо
нужно внутри этой строки найти совпадения с массивом нормального гендера.
что -то вроде
hasAny(JSONExtractArrayRaw('[1,2,3]'), [1])
проблема в том, что этой функции в моей версии кликхауса (19.7.3) нету.
вопрос: как это можно провернуть?
условно если тип был int32, то можно так
select arrayMap(x->toInt32(x),splitByChar(',',replaceOne(replaceOne('[1,2,3]','[',''),']','')));


но это ненадёжно конечно
источник
20:01пожаловаться#19

М

Максим in ClickHouse не тормозит
SELECT arrayCompact(x -> (x.1), [('a', 1), ('a', 2), ('c', 3), ('a', 1)]) AS v

┌─v─────────────┐
│ ['a','c','a'] │
└───────────────┘

Всем привет.
Может кто подскажет, есть ли вариант сравнивать в arrayCompact по x.1, но выводить весь tuple ?
источник
20:17пожаловаться#20